Data OPS/Data Platform Engineer Senior - Freelance (H/F)

CONTEXTE

Le présent appel d'offre a pour objet la sélection d'un Data OPS/Data platform Engineer Senior afin d'accompagner le pôle Data Fabric d'une grande entreprise du secteur ferroviaire.

MISSIONS

RUN et fiabilité de la plateforme

Garantir la disponibilité, la performance et la sécurité de la Data Platform.

Investiguer et résoudre les incidents de production.

Améliorer l'observabilité, le monitoring et l'alerting.

Participer à l'amélioration continue de l'exploitation.

Construction et évolution du socle Data

Développer et maintenir les services de la plateforme.

Participer à la mise à disposition d'environnements self-service pour les équipes Data.

Industrialiser les déploiements via Infrastructure as Code et CI/CD.

Contribuer à l'amélioration de l'expérience développeur.

Modernisation et migration

Participer à la migration du patrimoine historique vers les nouvelles architectures Lakehouse.

Accompagner la transition des usages existants.

Optimiser les coûts d'exploitation des solutions Data.

Services Data et consommation

Développer les services d'exposition et de consommation des données.

Contribuer aux sujets de gouvernance, catalogage et partage de données.

Participer à l'ouverture multi-client des services Data.

Gouvernance et services Data Platform

Contribuer à la standardisation et à l'industrialisation des Data Products afin de garantir leur réutilisabilité, leur qualité et leur maintenabilité.

Participer à la définition, à l'implémentation et au suivi des Data Contracts entre producteurs et consommateurs de données.

Mettre à disposition et faire évoluer les services de la plateforme liés au catalogage, à la découvrabilité et à la documentation des données.

Implémenter et automatiser les mécanismes d'habilitation et de contrôle des accès afin de garantir la sécurité et la conformité des usages.

Accompagner les équipes Data dans l'adoption des standards de gouvernance et des bonnes pratiques de publication des Data Products.

LIVRABLES

Mise en place et suivi des SLA/SLO sur les pipelines et Data Products en production.

Dispositif de monitoring et d'alerting opérationnel (dashboards, seuils, règles de qualité en continu).

Procédures de gestion des incidents data : détection, qualification, résolution, post-mortem.

Runbooks et documentation d'exploitation pour les pipelines critiques.

Reporting de fiabilité (disponibilité, taux d'incidents, temps de résolution) auprès des Data Product Owners.

Data Catalog

Data product

COMPÉTENCES

Architecture : Lakehouse

Infra : AWS, EKS, CI/CD, Terraform, Iceberg

Ingestion : MSK, DataStream, SQS

Gouvernance : lakeformation, Data Catalog, DataProduct/contract

Process : Airflow, Starburst

Développement : Python, Software craftmanship (bonnes pratiques de dev)

Monitoring : Datadog, AWS, FinOps

COMPÉTENCES CLÉS

Obligatoire :

Data Catalog

AWS

Terraform

Observabilité Data

Starburst

Important :

Data Product Management

Data Contract

Data Quality

1. Maîtrise de Data Catalog
2. Expérience avec AWS
3. Compétences en Terraform
4. Expertise en Observabilité Data
5. Connaissance de Starburst
6. Compétences importantes en Data Product Management
7. Connaissance des Data Contract
8. Maîtrise de la Data Quality