Ali - Consultant technique APACHE HADOOP

MISSIONS EFFECTUEES

Période : Depuis Novembre 2021
Client : la poste
Rôle Data engineer
Projet Exposition des données
Réalisations
• Implémentation des API REST
• Implémentations des évolutions sur l’existant
• Orchestration des traitements de transformations.
• Déploiement des traitements sur tous les environnements.
• Exposition de données via des apis.
• Migration des traitements CDH et opneshift
• Environnement technique : Scala Spark, Python, Kafka, postgresql hdfs, Gitlab,
Airflow, jenkins, openshift, Ansible, S3, Akka, Kubernetes
Période : Décembre 2020-Novembre2021
Client : BPI France
Rôle Data engineer
Projet Ingestion, transformation, et exposition des données avec des services AWS
Réalisations
• Implémentation des jobs matillion permettant l’extraction des données
• Implémentations des fonctions lambdas en python permettant l’ingestion des données
dans datalake.
• Développements des traitements de transformations.
• Développements des jobs pour le stagging des données dans redshift.
• Exposition de données dans AWS Athena.
• Mise en place de job AWS Glue.
• Développement des chaines CI/CD avec gitlab pour le packaging et la livraison
• Environnement technique : AWS, Spark, Python, Scala, Matillion, postgresql ,mongodb, Athena, Lambda, Gitlab, Postgres,
Période : Octobre 2019-Novembre 2020
Client : Mutuelle Assurance MMA Groupe COVEA
Rôle : ConsultantBig Data/Talend
Rédaction des spécifications fonctionnelles et techniques
Conception et design technique des jobs (Standard, Big Data Batch, Big Data Streaming)
Mise en œuvre de développement autour de Talend (contrôle, nettoyage, transformation, mise en qualité des données, gestion des rejets, gestion des logs ...)
Test et déploiement sur les environnements de développement, de validation et de production, packaging des livraisons …
Implémentation des améliorations techniques et fonctionnelles sur des projets existants
Analyse des incidents et anomalies de production et évaluation des impacts et le temps nécessaire pour la correction
Suivi des applications dans l’outil de suivi et de gestion (JIRA)
Environnement : Scala, Spark, python, Talend, TAC, Java, Hive, Hbase, Hue, Impala, Solr, Oozie,
Jenkins, SVN
Méthodologie : SCRUM Agile
DGA
Période : Juin 2019
Rôle Data Engineer
Projet Développement des applications pour tester les clusters
Réalisations
• Mise en place des bonnes pratiques pour le développement sous spark scala.
• Mise en place des bonnes pratiques ansible
• Développement des flux Nifi permettant l’ingestion des données vers plusieurs cibles
• Développement des jobs spark pour tester l’interaction avec plus de 15 composants.
• Développement des chaines CI/CD avec gitlab pour le packaging et la livraison
• Création des playbooks ansible pour la création des clusters ainsi que les installations des composants.
• Déploiement de tous les services du cluster
• Environnement technique :Mesos, HDFS, Hive,, Oozie, Spark ,Kafka, Openstack,
Spark, Elasticsearch, Cassandra, Postgres, Redis, Ceph, Nifi, Hbase, Logstash
MISSIONS EFF
BANQUE DE FRANCE
Période : Octobre 2018-Mai 2019
Rôle Data Engineer/Administrateur Hadoop
Projet Création, déploiement, et Administration de clusters HDP
Réalisations
• Mettre en place des bonnes pratiques pour le développement sous spark scala.
• Création des clusters, déploiement avec ansible.
• Administration (création des queues yarn, création des policies ranger (hive, hdfs…) création des topologies knox…).
• Déploiement de tous les services d’un cluster (Spark, oozie, hive, kereberos, llap, hbase, tez, kafka…)

MISSIONS EFFECTUEES
BNPPARISBAS
Période : Octobre 2017-Octobre 2018
Rôle Data Engineer
Projet Participation au développement des nouvelles fonctionnalités.
Réalisations
• Développement et automatisation de l’intégration de différents flux dans le Data Lake.
• Développement et alimentation d’objets et vues métier en restituant et réconciliant les données stockées dans le Data Lake Hive.
• Développement traitements d’intégration de données : Hive, HDFS.
Environnement technique : Hadoop Hortonworks (HDP 2.4.0), Java SE, YARN, HDFS,
Hive, Hue, Oozie, Spark,Kafka,sqoop Méthode SCRUM Agile.

GROUPE EDF
Période : Octobre 20017-Juin 2018
• Hadoop Hortonworks :(HDP 2.4.0), Java SE, YARN, HDFS, Hive, Hue, Oozie, Spark,
Scala
• Méthode: SCRUM Agile
Contexte client : je participe avec mon équipe au développement des nouvelles fonctionnalités
Lead développeur :
q Développement et automatisation de l’intégration de différents flux dans le Data Lake
q Développement et alimentation d’objets et vues métier en restituant et réconciliant les données stockées dans le Data Lake Hive
q Développement traitements d'intégration de données : Hive, HDFS
GROUPE RENAULT
Période : Septembre 2016-Septembre 2017
• Hadoop Hortonworks :(HDP 2.6.0), Java SE, YARN, HDFS, Hive, Hue, Oozie, Nifi, Spark, Scala
• Méthode: SCRUM
Contexte client : au sein d’une équipe, j’ai participé à la définition de l’architecture pour développer un tableau de bord, j’ai contribué à l’alimentation d’objets et vues métier dans Hive en se servant des données stockées dans le data Lake
Lead développeur :
q Développement et automatisation de l’intégration de différents flux dans le Data Lake
q Définition de l’architecture applicative
q Développement et alimentation d’objets et vues métier en restituant et réconciliant les données stockées dans le Data Lake Hive
q Développement et automatisation de processus d’alimentation : Spark-Scala, Nifi, Kafka et ElasticSearch
q Développement traitements d'intégration de données : Hive, HDFS
CREDIT AGRICOLE
Période : Janvier 2015-Août 2016
Environnement technique : Java/EE : JAVA 8 & JEE 6
Framework : Spring, Hibernate, Spring
Serveurs d’applications : Tomcat, JBoss
Framework JavaScript : Bootstrap, RequireJS, ModernizR,
Angular
HTML5/CSS3
CMS : Jahia
Contexte client : Mettre en place un simulateur (crédit et assurance) en ligne
Poste occupé : Tech lead
q Participer à la réalisation et/ou assurer le suivi de la réalisation de ces applications
q Garantir le bon fonctionnement et le support des solutions du service
q Garantir la conformité des applications développées
q Participer à la montée en compétence de l’équipe
q Participation aux phases ETUDE et CADRAGE des projets
q Conception des solutions en phase avec le plan d'urbanisation applicatif
q Réalisation des tests unitaires
q Conception technique et réalisation des développements applicatifs
q Contrôle des livrables fournis la MOA, les métiers et les prestataires de service
q Pilotage des phases d'intégration et de recette technique
q Accompagnement des recettes utilisateurs
q Assurer le fonctionnement et le support des solutions du service
BOUYGUES TELECOM
Durée de la mission : 1 an.
Période : Janvier-Décembre 2014
Contexte client : Maintenance corrective et évolutive de l’application NRM (Network
Ressources Management) permettant l'attribution de
Ressources réseau aux clients Bouygues Télécom
Poste occupé : Concepteur/Développeur
q Modéliser et concevoir des applications
q Participer à la réalisation et/ou assurer le suivi de la réalisation de ces applications
q Correction des anomalies
q Validation fonctionnelle des différents modules de l'application
CAPGEMINI TECHNOLOGY SERVICES SAS
Durée de la mission : 6 mois.
Période : Janvier-Juin 2013
Contexte client : j’étais stagiaire chez capgemini, l’objectif de mon stage était étudier et
comparer les deux Framework Play ! Et Grails
Poste occupé : Stagiaire
q Développement d’un prototype interne sous Play ! : langage Scala
q Développement d’un prototype interne sous Grails : langage Groovy