Présentation de la formation AWS – Data Engineering (Glue, Athena, Redshift, Lake Formation)
Plongez au cœur des architectures modernes de données avec cette formation de 3 jours. Vous apprendrez à construire un Data Lake sur AWS avec S3 et Lake Formation, à orchestrer des workflows ETL via AWS Glue, puis à interroger les données avec Athena et à les analyser à grande échelle avec Redshift. La sécurité, la gouvernance des accès et l'optimisation des coûts sont au centre des ateliers pratiques. Destinée aux data engineers et aux professionnels déjà familiarisés avec SQL et les services AWS de base, cette formation vous donne les compétences pour concevoir une plateforme de données robuste, évolutive et performante.
Objectifs de la formation AWS – Data Engineering (Glue, Athena, Redshift, Lake Formation)
Objectifs pédagogiques :
- Comprendre l’architecture d’un data lake sur AWS
- Mettre en place des pipelines ETL avec AWS Glue
- Analyser des données avec Amazon Athena et Redshift
- Utiliser Lake Formation pour gérer les accès et la gouvernance
- Appliquer les bonnes pratiques de sécurité et d’optimisation des coûts pour la data
Objectifs opérationnels :
- Concevoir et déployer une plateforme complète de données sur AWS : construire un Data Lake sécurisé, mettre en œuvre des pipelines ETL avec AWS Glue, analyser les données avec Athena, mettre en place un entrepôt via Redshift, et appliquer les meilleures pratiques de gouvernance, sécurité et optimisation des coûts.
Programme de la formation AWS – Data Engineering (Glue, Athena, Redshift, Lake Formation)
Jour 1 – Introduction et Data Lake
Concepts de data lake et entrepôt de données
Amazon S3 comme socle du data lake
Lake Formation : configuration et gouvernance des accès
Atelier : mise en place d’un data lake simple avec S3 et Lake Formation
Jour 2 – ETL avec AWS Glue
Introduction à AWS Glue et ses composants (crawler, catalog, job)
Création de jobs ETL en Python/Scala
Orchestration avec AWS Glue Workflow
Atelier : ingestion et transformation de données avec Glue
Jour 3 – Analyse serverless avec Athena
Présentation d’Amazon Athena et intégration avec S3
Interrogation de données avec SQL standard
Optimisation des performances (partitions, formats Parquet/ORC)
Atelier : analyser des logs stockés sur S3 avec Athena
Jour 4 – Entrepôt de données avec Redshift
Présentation d’Amazon Redshift : architecture et fonctionnement.
Chargement de données dans Redshift (COPY, intégration S3/Glue)
Optimisation et distribution des données
Sécurité et monitoring avec Redshift
Étude de cas : architecture complète de data lake et entrepôt de données sur AWS
Les autres formations en Big Data / NoSQL & Data Engineering
AWS – Big Data & Analytics (EMR, Kinesis, QuickSight)
Exploiter les services Big Data et Analytics d’AWS pour traiter et visualiser des données massives