Data Engineer

Certification Certification

Modalité d'évaluation : Pour obtenir la certification Data Engineer, vous serez évalué à travers une étude de cas, une mise en situation professionnelle, une soutenance orale devant le jury et la soumission de livrables avant la soutenance.

La certification : Formation certifiante délivrant un titre à finalité professionnelle reconnu par l'Etat et inscrit au répertoire national des certifications professionnelles : Data Engineer

La formation vise la certification Expert en infrastructures de données massives de niveau 7 équivalent bac + 5.

 Enregistrée au RNCP sous le numéro 37638 . Cette certification est également accessible via la VAE.

Présentation Présentation

C’est l’un des métiers émergents de la tech !

Le Data Engineer est un métier très demandé dans le domaine numérique, faisant partie des 10 emplois les plus recherchés dans la tech.

Ce métier passionnant implique la création, le développement et la maintenance des infrastructures de données, surtout lorsque leur volume augmente rapidement. En travaillant avec des Data Scientists, des Analystes de données et des Développeurs, vous aiderez les entreprises à utiliser efficacement leurs données pour prendre des décisions avisées.

Notre formation en Data Engineering vous enseignera toutes les compétences techniques nécessaires, y compris les langages de programmation comme Python, Java ou Scala, ainsi que les outils Big Data tels que Hadoop, Spark et SQL. Vous acquerrez également des connaissances en architecture distribuée et en cloud computing, des compétences essentielles pour réussir dans cette carrière en plein essor.

Compétences visées et débouchés

Ce profil est hautement recherché par une variété d'entreprises, des start-ups aux grandes entreprises, y compris les cabinets de conseil (SSII et ESN). Le Data Engineer peut évoluer vers une expertise en infrastructures de données massives ou devenir consultant big data.

Salaire

Le salaire de sortie pour un Data Engineer est attractif, allant de 45 000 € à 60 000 € brut annuel. En savoir plus.

Compétences Compétences visées

Compétences visées

1 - Piloter la conduite d’un projet data au sein d’une organisation

  • Analyser l’expression d’un besoin de projet data dans une étude de faisabilité en explorant, à l’aune des enjeux stratégiques de l’organisation, le besoin métier avec les parties prenantes pour valider les orientations et sélectionner les hypothèses techniques du projet avec le ou les commanditaire(s).
  • Cartographier les données disponibles en référençant les usages, les sources, les métadonnées et les données afin de valider les hypothèses techniques du projet data.
  • Concevoir un cadre technique d’exploitation des données en analysant les contraintes techniques, de moyens et la cartographie des données afin de définir une réponse technique adaptée aux ressources mobilisables dans le respect du RGPD et d’une démarche éco-responsable.
  • Réaliser une veille technique et réglementaire en sélectionnant des sources et en collectant et traitant les informations collectées afin de formuler des recommandations projet toujours en phase avec l’état de l’art.
  • Planifier la réalisation d’un projet data en attribuant les moyens nécessaires et en définissant les étapes de réalisation et les méthodes de suivi du projet afin de d’organiser sa mise en oeuvre
  • Superviser la réalisation d’un projet data en organisant les méthodes, les outils de travail et la communication entre les parties prenantes, afin d’accompagner les membres de l’équipe dans la réussite du projet
  • Communiquer tout au long de la réalisation du projet data sur les orientations, les réalisations et leurs impacts en élaborant la stratégie et les supports de communication afin d’informer toutes les parties prenantes des évolutions ou des opportunités internes comme externes, portés par le projet.
     

2 - Réaliser la collecte, le stockage et la mise à disposition des données d’un projet data au sein d’une organisation

  • Automatiser l’extraction de données depuis un service web, une page web (scraping), un fichier de données, une base de données et un système big data en programmant le script adapté afin de pérenniser la collecte des données nécessaires au projet.
  • Développer des requêtes de type SQL d’extraction des données depuis un système de gestion de base de données et un système big data en appliquant le langage de requête propre au système afin de préparer la collecte des données nécessaires au projet.
  • Développer des règles d'agrégation de données issues de différentes sources en programmant, sous forme de script, la suppression des entrées corrompues et en programmant l’homogénéisation des formats des données afin de préparer le stockage du jeu de données final.
  • Créer une base de données dans le respect du RGPD en élaborant les modèles conceptuels et physiques des données à partir des données préparées et en programmant leur import afin de stocker le jeu de données du projet.
  • Partager le jeu de données en configurant des interfaces logicielles et en créant des interfaces programmables afin de mettre à disposition le jeu de données pour le développement du projet.

3 - Élaborer et maintenir un entrepôt de données (data warehouse)

  • Modéliser la structure des données d’un entrepôt de données en s’appuyant sur les dimensions et les faits afin d’optimiser l’organisation des données pour les requêtes analytiques.
  • Créer un entrepôt de données à partir des paramètres du projet, des contraintes techniques et matérielles et de la modélisation de la structure des données afin de soutenir l’analyse de l’activité et l’aide à la décision stratégique de l’organisation.
  • Intégrer les ETL nécessaires en entrée et en sortie d’un entrepôt de données afin de garantir la qualité et le bon formatage des données en respectant les modélisations logiques et physiques préalablement établies.
  • Gérer l’entrepôt de données à l’aide des outils d’administration et de supervision dans le respect du RGPD, afin de garantir les bons accès, l’intégration des évolutions structurelles et son maintien en condition opérationnelle dans le temps.
  • Implémenter des variations dans les dimensions de l’entrepôt de données en appliquant la méthode adaptée en fonction du type de changement demandé afin d’historiser les évolutions de l’activité de l’organisation et maintenir ainsi une bonne capacité d’analyse.

4 - Encadrer la collecte massive et la mise à disposition des données issues de l’activité de l’organisation grâce à un data lake

  • Concevoir l'architecture du data lake en sélectionnant les technologies appropriées en fonction de la volumétrie, de la variété et de la vitesse des données dans le but de définir l’architecture technique optimale à intégrer.
  • Intégrer les différents composants d'infrastructure du data lake en appliquant la procédure adaptée, afin d’assurer l’acquisition, le stockage et la mise à disposition du catalogue de données
  • Gérer le catalogue des données en tenant compte de leur nature, de leurs sources d’alimentation et de leur cycle de vie, dans le respect du RGPD, afin de garantir les fonctionnalités du service.
  • Implémenter les règles de gouvernance des données en sécurisant la recherche, la récupération et l’ajout de données afin de respecter les règles de gouvernance des données de l’organisation, dans le cadre du déploiement de la politique de protection des données.

Programme Programme

Introduction à la formation 

Durant les premières semaines, découvrez votre futur métier, expérimentez la pédagogie active de Simplon en vous initiant aux principes du développement et de l’algorithme et faites connaissance avec votre promotion.
Vous aurez une vision claire des compétences à acquérir et des critères d'évaluation pour l'obtention de la certification finale.

Durant la formation, vous appréhendez des langages de programmation comme Python, Java ou Scala, ainsi que les outils Big Data tels que Hadoop, Spark et SQL.
Vous acquerrez également des connaissances en architecture distribuée et en cloud computing.

Phase 1 -  Vous intervenez sur des bases de données et les faites évoluer

Vous créez et manipulez des bases de données répondant à un besoin métier simple. Notamment :

  • Vous participez à la gestion d’un projet data répondant à un besoin formalisé
  • Vous contribuez à la conception et à la création de bases de données
  • Vous êtes impliqué dans l’ingestion automatique de données dans les bases de données 

Phase 2 - Vous faites évoluer un data warehouse

Vous intervenez au niveau de l’entrepôt de données de l’entreprise avec une démarche d’automatisation et de standardisation des traitements de données. Par exemple :

  • Vous prenez connaissance des schémas des structures de données en faits et dimensions du data warehouse.
  • Vous testez le bon fonctionnement de l’entrepôt de données en environnement de développement/test.
  • Vous intégrez de nouvelles sources de données en adaptant les scripts d'extraction, transformation et chargement de données déjà en place

Phase 3 - Vous faites évoluer un data lake

Vous intervenez au niveau du datalake, où sont stockées les données brutes de l’entreprise. Par exemple :

  • Vous adaptez les procédures de collecte automatique de données
  • Vous intervenez sur les outils de catalogage de données
  • Vous paramétrez les droits d’accès

Phase 4 - Vous mettez en place des bases de données accessibles aux équipes d’analyse

À l’échelle d’un projet data, vous réalisez une base de données répondant à un besoin métier.  Par exemple : 

  • Vous identifiez les données sources pertinentes à partir de la documentation disponible
  • Vous concevez une base de données cible
  • Vous automatisez l’import des données depuis des sources variées
  • Vous développez des points de terminaison d’API et des règles d’autorisation associées

Phase 5 - Vous créez un data warehouse

Vous réalisez un entrepôt de données permettant de servir les différents usages data au sein de l’entreprise. Par exemple :

  • Vous cartographiez les données collectées par l’entreprise
  • Vous structurez l’entrepôt de données selon les cas d’usage recensés 
  • Vous sélectionnez les outils de stockage et d’import pour l’entrepôt de données
  • Vous maintenez en condition opérationnelle les composants techniques de l’entrepôt de données

Phase 6 - Vous créez un datalake

Vous mettez en place l’architecture, l’infrastructure, la structuration et la gouvernance d’un datalake. Par exemple :

  • Vous concevez l'architecture du datalake
  • Vous intégrez les différents composants d'infrastructure du datalake 
  • Vous mettez en place un catalogue de données
  • Vous implémentez des règles de gouvernance des données

Phase 7 - Vous menez des missions d’étude, de conseil et d’intégration en systèmes de stockage et big data 

Vous pilotez un projet data. Par exemple :

  • Vous analysez une expression de besoin pour un projet data
  • Vous réalisez une veille technique et réglementaire
  • Vous communiquez tout au long de la réalisation du projet data

Phase 8 – Vous préparez et passez votre titre professionnel

Pour attester de votre maîtrise de l’ensemble des compétences visées par le titre professionnel, vous réalisez un projet que vous présentez devant un jury de professionnels.

Admission Admission

Pré-requis et conditions d’accès

Votre diplôme actuel

Vous devez être titulaire d’un titre ou d’un diplôme de niveau Bac+3 en informatique (développement, data, gestion de base de données ou d’infrastructure).
Si vous ne remplissez pas cette condition, votre dossier de candidature pourra être néanmoins examiné en vue d’une admission exceptionnelle.

Votre état d’esprit

  • Une très forte motivation, à démontrer lors de la candidature
  • Curieux et créatif, avec un bonne capacité d’expression à l’oral et à l’écrit
  • Prêt à travailler en équipe et à collaborer autour de projets
  • La volonté de vous investir dans la durée dans un parcours de formation intense

Votre niveau de maîtrise technique

Cette formation s’adresse en priorité à des personnes disposant, par le diplôme ou l’expérience professionnelle :

  • De compétences en gestion de projet : identification des besoins, rédaction technique, suivi du planning, liaison client-équipes.
  • De compétences techniques telles que installation et gestion de services, programmation de scripts d'automatisation sous Linux,, conception de bases de données, maîtrise de SQL et manipulation de données pour qualification, programmation (PHP, Python, Java).
  • D’une maîtrise de l’anglais technique.
  • Vous pourrez mettre en valeur vos capacités dans le cadre du processus de candidature, notamment au travers d’une phase d’auto-apprentissage et de la réalisation d’un mini projet.

Handicap

Si vous êtes en situation de handicap, il est possible de mettre en place des aménagements


Les sessions ouvertes

Prix Prix de la formation

Formation et passage de la certification gratuits grâce aux partenaires financeurs de la formation et aux fonds de financement de la formation. 

(Pour les financeurs de la formation professionnelle des demandeurs d'emploi : 15 à 25€ de l'heure selon la qualification visée et l'accompagnement à mobilise)

Nous pouvons aussi mettre en place des sessions de formation pour des groupes de salariés dans les entreprises, veuillez nous contacter directement.

Sur certaines sessions, cette formation peut être financée - sans reste à charge pour le candidat - par différents dispositifs : Plan de formation de l'entreprise, AIF, CPF (formation éligible au CPF - Compte Personnel de formation - pour les salariés et les demandeurs d’emploi). Cherchez les sessions en cliquant sur voir les sessions ouvertes, et contactez la Fabrique concernée pour en connaître les modalités.

Retourner en haut