Lead Développeur SPARK

Offre de mission n°210922E001

Nous recherchons un Lead développeur spark sénior pour une mission de 1 jour par semaine sur Lyon ou en remote.

=> Démarrage ASAP
=> Lieu Lyon ou remote
=> 1 jour par semaine
=> Mission longue durée

Contexte et résumé de la mission :

Dans le cadre d’un existant en Hadoop et HDFS, nous cherchons un développeur Spark senior capable de mener et réaliser une migration des traitements de Cascading vers Spark et de se positionner comme lead sur les sujets techniques
Le profil sera intégré à l’équipe en charge de toute la partie « Big Data » du projet fonctionnant en mode Scrum L’objectif sera d’apporter votre connaissance fine de Spark à toute l’équipe afin que celle ci puisse monter en compétence sur le sujet et que la migration des traitements se fasse en suivant des bonnes pratiques.

Activités :

• La mise en place d'architecture Big Data
• La conception/développement/supervision/optimisation de flux d'alimentation Spark de données à forte volumétrie
• Les bonnes pratiques à mettre en place vis à vis de la robustesse, de la résilience et des performances
• La mise en place et le maintien du socle technique
• La mise en place de logs et de métriques
• La mise en place de tests
• Capacité à s’intégrer au sein d’une équipe et à prendre une position de lead
• Accompagnement technique des équipes de développement

Compétences

•Excellente maitrise de Spark , Spark Thrift , SparkSQL
•Compréhension fine du fonctionnement d’un job en production et de l’infrastructure sous jacente
•Bonne connaissance de l'écosystème Hadoop (HDFS, Yarn , Hive , Map reduce)
• Bonne maitrise de l’écosystème Spring
•Java 8/11
•Maven , GIT, Jenkins
•Linux
•Sensibilité à la méthodologie Agile ( Definition of ready , definition of done , valeurs scrum )
•Connaissances en modélisation de données décisionnelles appréciées

Seront un plus
•Stockage objet compatible S3 (ex : Ceph Object)
•Open stack
•Terraform
•Ansible

Compétences requises
HASHICORP TERRAFORM OPENSTACK ANSIBLE
Publiée le 22/09/2021.