Data Engineer Spark Scala - Freelance (H/F)

Taux journalier (TJM): 580

Objectifs

Sur le périmètre confié au sein de l'équipe de Gestion Courante Datalake :

Assurer le suivi des traitements quotidien en Spark/Scala

Analyser, corriger les incidents fonctionnels confiés avec leurs éventuelles reprises de données afférentes

Réaliser les évolutions confiées

Tester les corrections d'incidents ou autres développements

Mettre à jour la documentation

Livrer en production les corrections ou autres développements

Rendre compte à son chef de projet

Livrables

Spécifications des corrections ou autres développements dans le respect des délais et des charges définis avec son chef de projet

Plan et cas de tests

Mises à jour de la documentation

Mise à jour du suivi interne de l'équipe

Un bon relationnel et une qualité rédactionnelle sont demandées.

Une expérience de gestion courante applicative est incontournable.

Une connaissance d'Oracle est nécessaire.

Vous maîtrisez les nouvelles technologies BIG DATA, avec une expérience >5 ans sur des technologies SPARK & SCALA :

HADOOP/ SPARK / HIVE / HDFS / YARN / OOZIE / Parquet / KAFKA / spark streaming, Mongo DB /JSON / AVRO

Les outils et langages suivants : Cloudera, Java, Scala, Git

Une connaissance de contexte technologique similaire est nécessaire.

Une connaissance de GCP serait également appréciée.

Compétences

Niveau de compétence

opcon

Élémentaire

hive

Confirmé

spark

Confirmé

unix / linux

Confirmé

scala

Confirmé

MÉSOS

Confirmé

git

Confirmé

ORACLE

Confirmé

oozie

Confirmé

shell

Confirmé

HDFS

Confirmé