Aller au contenu

Diplôme · NIVEAU 7

Data engineer

Diplôme de type Diplôme

Nb formations4 formations
NiveauDiplôme
Présentation

Le diplôme en bref

La data est devenue un sujet stratégique avec le développement des outils permettant de « dématérialiser » les données et ainsi de les rendre plus facilement « partageables ». L’exemple le plus basique est le logiciel de bureautique qui a permis de passer de tableaux de données papier d’une expérience, à un tableau de données numériques de cette même expérience. La donnée est ainsi devenue une data : elle a été numérisée. En une petite quinzaine d’années, à peine, le développement constant d’outils informatiques permettant de numériser toute sorte de données (images, sons, textes, vidéos, …) et l’avènement d’internet ont non seulement permis d’accélérer la numérisation des données, mais aussi leur production en masse ; les activités économiques et sociales de toute nature (vente en ligne, services, formation), ayant elles aussi migré vers l’internet. Ainsi l'accroissement de la quantité de données produites par les entreprises, les particuliers, les organisations, … est exponentiel. Les chiffres de 2019 et les projections faites par les experts, le démontrent. Ainsi, « Selon les estimations publiées dans le Digital Economy Compass 2019 de Statista, le volume annuel de données numériques créées à l'échelle mondiale a été multiplié par plus de vingt au cours de la dernière décennie et devrait s'approcher de 50 zettaoctets cette année ». On parle désormais de big data, ou données massives, les volumes générés de data étant gigantesques. Par ailleurs, parallèlement à l’augmentation de la production de données numériques, et pour pouvoir en faire l’exploitation, de nouveaux moyens et de nouvelles solutions ont été mis au point pour pouvoir les stocker de manière massive, rapide et économique. C’est l’émergence des data centers et des solutions « clouds ». Comme le souligne le syndicat français du numérique, Syntec, « Ces données sont devenues le langage de nos activités. Pour les faire parler, il faut les recueillir, les formater, les analyser, les consolider, les stocker, les diffuser… Autant d'opérations regroupées dans ce que l'on appelle le big data. » et de poursuivre que « Tous les métiers du numérique, conseil, édition de logiciels, services, ingénierie, hébergement Cloud, sont concernés. Et tous les secteurs le sont aussi car les données sont devenues la matière première ou la production de toutes les activités. » Ainsi les données produites, collectées et stockées sont ensuite exploitées pour produire des connaissances, des produits ou des services, dans tous les secteurs : santé, banque, assurance, automobile, formation, etc. Elles permettent d’analyser les comportements de clients, pour le marketing, de suivre l’évolution d’apprenants sur des plateformes et d’orienter la suite de leurs parcours, ou encore de faire des prévisions. En pénétrant tous les secteurs et toutes les activités, le big data nécessite des compétences spécifiques et face aux besoins exponentiels des structures, qu’elles soient entreprises - de toute taille - ou encore services publics, les métiers de la data sont en explosion depuis quelques années. Le besoin est tel que le gouvernement français a créé en août 2020 une « Mission numérique des grands groupes » qui « vise à faire émerger des projets communs et concrets, qui bénéficieront à l’ensemble du tissu économique français, avec l’ambition de le faire accéder à un nouveau palier de transformation numérique, dont la crise a révélé l’urgente nécessité. » Pour y parvenir, le gouvernement lui a fixé cinq chantiers prioritaires dont « soutenir la transformation des compétences et des formations ». Dans ce contexte le Data Engineer est l’architecte des données massives et du développement de l’intelligence artificielle, qui sont des conditions de réussite sine qua none de la transformation numérique de notre société : le développement de ce métier clef constitue donc une opportunité.

Activités visées

  • Etude et développement, ou choix et adaptation d'une solution sécurisée pour collecter, nettoyer, traiter, stocker et exploiter des données

  • Management de la transition data de l'entreprise

  • Déploiement ou industrialisation, maintenance d'une solution opérationnelle de gestion de données

  • Conception,

  • mise en œuvre et optimisation d'un modèle d'Intelligence Artificielle/Machine Learning (ML)

  • Exploitation de la donnée pour piloter l'activité de l’entreprise et créer de nouvelles opportunités

Programme

Programme et compétences

  • Analyser les besoins en intégrant les ressources disponibles, les contraintes, les risques afin de proposer une solution correspondant à la demande du client

  • Analyser le besoin de protection des données en mesurant leur sensibilité afin de définir une politique de sécurité et une gouvernance du Système d’Information (SI)

  • Identifier et mesurer les risques liés à la protection juridique de l’entreprise et de ses parties prenantes en respectant la législation des pays concernés en matière de chiffrement, détention, transit, domiciliation des prestataires afin de diminuer les risques de conflit avec une juridiction ou entre deux juridictions

  • Rédiger les cahiers des charges fonctionnel et technique de manière accessible en se basant sur l’analyse des besoins validée par le client, afin de spécifier les caractéristiques de la solution à développer ou à adapter

  • Concevoir l’architecture sécurisée de la solution à développer ou à adapter en se basant sur les différents cahiers des charges en vue de proposer un système opérationnel de gestion de données massives

  • Conduire et réaliser le développement ou l’adaptation d’une solution en ayant recours aux langages de programmation et aux technologies de base de données les plus adaptés et en garantissant la conformité aux cahiers des charges afin de livrer un système opérationnel, sécurisé, accessible, destiné à collecter, nettoyer, traiter, stocker et exploiter des données

  • Réunir et coordonner des compétences spécialisées nécessaires au développement de la solution en mettant en oeuvre les bonnes pratiques de gestion d’équipe, de gestion de projet et de prise en compte des éventuelles situations de handicap

  • Réaliser des tests en se basant sur des jeux de données et valider le bon fonctionnement et la sécurité de la solution développée ou adaptée en conformité avec les attentes du client

  • Contribuer à la rédaction d’une charte éthique (accessible à l’ensemble des collaborateurs) relative aux données manipulées,en déclinant les exigences sociétales et environnementales fixées par l'entreprise afin de respecter les engagements de celle-ci dans ces domaines

  • Collaborer à l’élaboration de la stratégie de transition data de l'entreprise, respectueuse de la charte éthique, en identifiant ses métiers et activités concernés, en définissant le périmètre du projet de transition, ses objectifs, ses étapes, ses délais, le budget requis et les indicateurs de réussite

  • afin de soutenir le développement de l’entreprise

  • Proposer des évolutions du système de données de l'entreprise, en modifiant sa structuration et ses modes d'accès, en définissant des indicateurs de mesure, pour améliorer sa mise à disposition et son exploitation par les utilisateurs

  • Piloter et mettre en place dans son champ d’expertise la transition data de l'entreprise en faisant évoluer des process, des métiers, des activités, afin d'optimiser leurs fonctionnements

  • Planifier et gérer les projets relevant de la transition en définissant les objectifs, les indicateurs, les jalons, et les livrables, afin de respecter les délais convenus avec le client

  • Concevoir et mettre en exploitation des outils de suivi inclusifs à partir des données qu’il aura identifiées afin de piloter un projet pour détecter et corriger les écarts, les risques

  • Manager et assurer l’accompagnement des métiers et des acteurs de l’entreprise dans leur évolution en organisant ou contribuant à des actions de formation et d’acculturation accessibles afin de passer à une culture de la donnée respectueuse de la sécurité, du cadre juridique et de l’éthique

  • Évaluer le niveau d'adhésion des acteurs de l’entreprise à la démarche de transition data en mettant en place des indicateurs d’acceptation afin d'identifier d'éventuelles difficultés ou réticences

  • Mettre en place un dispositif de veille juridique et technologique expert portant sur les champs de la Data, du Big Data, de l’IA et de la cybersécurité en identifiant les sources d’informations les plus pertinentes afin de faire évoluer le Système d’Information (SI) et les solutions Data mises en place

  • Exploiter les informations issues de la veille juridique et technologique afin de proposer des évolutions du SI et de faire évoluer les solutions Data dont il a la responsabilité

  • Mobiliser et coordonner les expertises techniques en utilisant les méthodes de conduite de projet et d’animation d’équipe, en prenant en compte des éventuelles situations de handicap, afin de mettre en oeuvre le déploiement ou l’industrialisation et la maintenance d’une solution de gestion de données

  • Déployer ou industrialiser une solution dans le respect du cahier des charges en mobilisant les ressources techniques, budgétaires, humaines et en tenant compte des contraintes pour mettre à disposition un système de collecte maintenable, robuste, scalable et pouvant gérer des données massives

  • Mettre en place et superviser avec les services informatiques de l’entreprise, la protection de la solution et des données, en déployant les outils de sécurité, d’anonymisation, et en instaurant un mécanisme de supervision afin de consolider l'intégrité, la disponibilité, l'accessibilité, la confidentialité et la lisibilité des données

  • Mettre en exploitation la solution en monitorant la charge et la performance pour permettre la collecte, le nettoyage, le traitement, le stockage et l’exploitation des données

  • Attribuer et configurer les droits d’accès au système et aux données mises à disposition pour restreindre leur accessibilité aux personnes autorisées en se référant au cahier des charges du projet et à la politique de sécurité de l’entreprise

  • Evaluer la performance du système en effectuant des retours sur expérience par la collecte et la synthèse des informations relatives aux insuffisances et aux points d’amélioration potentiels en vue de son évolution

  • Conduire les évolutions du système en réponse aux points d'amélioration et insuffisances détectées lors de l’évaluation de ses performances afin de garantir un fonctionnement optimisé

  • Planifier et mettre en place une maintenance préventive du système de gestion de données afin d’assurer son bon fonctionnement et la disponibilité des données

  • Analyser expérimentalement les différents modèles d'Intelligence Artificielle/Machine Learning à travers des tests et des analyses statistiques afin de répondre aux besoins du client

  • Affiner le modèle d'Intelligence Artificielle/Machine Learning en cherchant les paramètres optimaux et en évaluant l’adéquation des modèles d’apprentissage avec le besoin exprimé afin de garantir ses capacités de prédiction

  • Déployer ou Industrialiser le modèle d'Intelligence Artificielle/Machine Learning à travers la mise en place des pipelines de données et dans le respect du cadre réglementaire pour garantir la qualité, la fiabilité, la rapidité et la scalabilité de la solution

  • Évaluer la performance du modèle d’Intelligence Artificielle/Machine Learning déployé ou industrialisé en se basant sur les métriques de référence afin d’optimiser ce modèle

  • Communiquer ses résultats au client (interne/externe) de façon accessible (datavisualisation) pour démontrer la performance du modèle d'Intelligence Artificielle/Machine Learning

  • Recueillir les besoins des utilisateurs/décideurs par un processus de questionnement afin d'identifier les données internes à collecter et exploiter

  • Identifier les données externes au moyen d'un système de veille afin de les intégrer ou de les croiser aux données internes.

  • Collecter des données structurées, ou non structurées, en mobilisant des sources variées en prévision de leur stockage et de leur exploitation

  • Stocker des données structurées, ou non structurées, dans une base de données, un data lake, ou un entrepôt de données, en garantissant leur sécurité afin de les mettre à disposition des différents utilisateurs/décideurs

  • Extraire les données identifiées d’une base de données, d’un data lake ou d'un entrepôt de données, à l’aide d’outils adaptés afin de les mettre à disposition des différents utilisateurs/décideurs dans un format exploitable.

  • Nettoyer les données contenues dans une base de données, un data lake, ou un entrepôt de données en s’assurant de leur qualité et de leur utilisabilité pour les restituer en un ensemble exploitable, homogène ou hétérogène.

  • Créer des outils de pilotage accessibles (tableaux de bord automatisés) en identifiant les indicateurs clés pour permettre aux utilisateurs/décideurs de faire face aux évolutions de l’activité et prendre les décisions adaptées.

  • Présenter le fonctionnement des outils de pilotage et les indicateurs clés identifiés, aux parties prenantes de façon accessible (datavisualisation) afin d’en obtenir la validation et l'appropriation

  • Présenter et défendre ses recommandations en se basant sur l’analyse des informations issues des outils de pilotage, afin de permettre aux clients internes une prise de décision éclairée (data gouvernance) et de créer de nouvelles opportunités

Coût de formation

Frais de scolarité

Information

Renseignez-vous auprès de l'établissement pour connaître les frais précis. Les tarifs varient selon le statut (public, privé) et le mode de formation (initial, alternance).

Profil RIASEC

Ce diplôme est-il fait pour vous ?

100%I

Investigateur

Analytique, recherche, science

94%R

Réaliste

Manuel, pratique, technique

6%S

Social

Aide, enseignement, relations