Data Engineer Databricks / Unity Catalog - Admin Big Data Azure & Migration PaaS - Freelance (H/F)

Taux journalier (TJM): 510-540 € HT

Paris (75)

Hybride - 2 jours de télétravail/semaine

36 mois

CONTEXTE ET ENJEUX

Dans le cadre de la modernisation de son écosystème Big Data, la DSI d'un acteur majeur du transport ferroviaire recherche un Consultant Expert Databricks / Unity Catalog pour accompagner l'exploitation, l'administration et l'évolution de sa plateforme de données.

Le pôle Big Data développe, au sein d'un projet stratégique, plusieurs cas d'usage exploitant des données et produisant quotidiennement des résultats à destination des métiers.

Ces cas d'usage nécessitent notamment :

La conception et l'exploitation de flux d'ingestion et d'exposition de données, via des Data Gateways ou d'autres mécanismes d'intégration.

La connexion de solutions de Data Visualization.

L'automatisation des traitements et des flux ETL.

L'administration d'une nouvelle plateforme Big Data en environnement PaaS.

La gestion de la gouvernance des données, des habilitations, des clés de sécurité, des Key Vaults et des API Managers.

La contribution à la migration de l'ancienne plateforme vers la nouvelle architecture.

L'optimisation des performances en lecture et en écriture, aussi bien au niveau du stockage physique que de l'utilisation mémoire.

L'industrialisation des déploiements via GitLab Enterprise (CI/CD).

La plateforme étant administrée directement par les équipes internes, la mission exige une expertise approfondie en administration, sécurité, gouvernance et exploitation de Databricks en production.

MISSIONS DÉTAILLÉES

1. ADMINISTRATION ET MAINTIEN EN CONDITIONS OPÉRATIONNELLES

Assurer le MCO de la plateforme Big Data.

Administrer les workspaces Databricks et leurs configurations.

Gérer les clusters, les espaces de stockage, les storages et les blobs.

Superviser le fonctionnement des traitements Big Data, des jobs et des pipelines Databricks.

Créer, configurer et maintenir les traitements nécessaires aux besoins métiers.

Mettre en place et exploiter des tables de monitoring et des dashboards de supervision.

Garantir la stabilité, la disponibilité et le bon fonctionnement de la plateforme en production.

Assurer le suivi opérationnel et le traitement des demandes via JIRA.

1. GOUVERNANCE DES DONNÉES ET ADMINISTRATION UNITY CATALOG

Assurer la gouvernance de la plateforme via Unity Catalog.

Administrer le metastore France en environnement de PRODUCTION, avec un rôle de coadministrateur.

Créer, modifier et administrer les objets et configurations de gouvernance.

Gérer les droits d'accès, les habilitations et les permissions sur les données.

Créer et administrer les groupes Azure Active Directory (AAD) métiers et SI.

Configurer et maintenir les mécanismes de synchronisation SCIM avec Databricks.

Créer, administrer et renouveler les clés de sécurité, les Service Principals (SP) et les identités managées.

Assurer la gestion des Key Vaults et des mécanismes de sécurisation des accès.

Participer à la définition et à l'application des règles de gouvernance des données.

1. INGÉNIERIE DES FLUX BIG DATA ET INTÉGRATION

Concevoir, spécifier et mettre en œuvre les flux Big Data entrants et sortants.

Créer et maintenir les flux d'ingestion et d'exposition de données.

Préparer les volumes et espaces de stockage nécessaires à l'alimentation des différentes sources de données.

Préparer les volumes nécessaires à l'exposition et à la consommation des données.

Gérer les mécanismes de Data Bridge entre les différents storages.

Développer et maintenir les jobs et pipelines Databricks.

Participer à l'automatisation des flux ETL.

Intégrer les flux avec les Data Gateways, les API Managers et les solutions de Data Visualization.

Exploiter SQL,