Expérience professionnelle
Sep 2019 - Dec 2023
Tech Lead - Senior Data Engineer
Société Générale, Val-de-Fontenay
Tech Lead
Participation aux ateliers d'architecture, proposition des solutions et
réalisation des travaux
Garant du respect des règles de travail en équipe (gestion des branches,
le review et merge du code, préparation des livrables...)
Encadrement des profiles juniors, transfert de connaissances au sein de
l'équipe et aux équipes IT de Bangalore
Mener à bout les sujets de migration de horthonworks vers Cloudera,
plate‑forme Talend, étude d'impact, évolution du code...
Intervention sur toute la chaîne de gestion du projet depuis la conception
jusqu'à la mise en PROD en utilisant des outils CI/CD
Jouer le rôle d'intermédiaire entre les architectes, intégrateurs,
développeurs et les PO
Collaboration avec les chefs de projet pour comprendre et réaliser les
nouvelles demandes des métiers
Evolution des jobs existants pour optimiser le temps dʼexécution et
renforcer la fiabilité des traitements
Projet Paiement de Masse (PMA): lutte contre la fraude bancaire sur les
paiements de masse (3 millions d'opérations par jour) et les paiements
instantanés (IP) en utilisant des algorithmes d'IA et du Machine Learning.
Collecte des données depuis MQSeries (2 à 6 millions d'opérations par
jour)
Conception et implémentation des jobs et des flux de données pour
lʼextraction, la transformation et le stockage des transactions bancaire via
Talend Big Data
Développement, optimisation et maintenance des applications
Spark/Scala sur un cluster Hadoop pour l'intégration des modèles dans
une architecture temps réel
Implémentation des tests unitaires et d'intégration
Manipulation des données sur HBase (création des tables, scan, insertion
et update...)
Migration des micro‑services de la plate‑forme Hortonworks vers
Cloudera 7.1
DevOps CI/CD : livraison automatisée des micro‑services via Jenkins
Migration des jobs Talend de la version 6.4 vers 7.3
Administration des jobs Talend via le TAC
Monitoring de bon fonctionnement des jobs et envoi automatique des
alertes en cas d'anomalie.
Challenge YOGA : création du nouveau réseau SG par la fusion des neuf
banques régionales du Crédit du Nord (plus de deux millions de clients entre
particuliers, professionnels et des entreprises) dans le SI du réseau de la
Société Générale.
Projet OEC : libération, temporisation ou rejet des virements SCT frauduleux
Collecte des alertes en temps réel et stockage sur HBase
Chargement et update des données depuis HBase vers MQSeries en
utilisant des jobs Talend Big Data
Analyse des messages de retour et mise à jour des tables HBase
Environnement technique :Talend Big Data 6.4, 7.3, Kafka, HBase, Spark,
Scala, Java, MQSeries, Hadoop, Shell, Ambari, Hortonworks, Cloudera,
Jupyter, Spark UI, Hue, Hive, Intellij, Git, GitHub, GitLab, Jenkins,
Elasticsearch, Control‑M.…
Feb 2019 - Sep 2019
Data Engineer
Crédit Agricole Assurances CAAS, Montreuil
Projet : création d'un Data Lake pour le stockage et lʼingestion des données
massives pour la nouvelle norme dʼassurancesRS17
Etude et PoC des outils Alteryx Designer, Serveur et Galaxie
Etude des performances de chargement des données sur Mapr via Alteryx
Automatisation de lʼexport csv avec Oozie
Tests fonctionnels et techniques des composants avec Cucumber
Automatisation de création des tables et ingestion des données sur Hive
Implémentation des jobs Spark pour lʼingestion des données sur Hive
pour les traitements complexes
Environnement technique :Git, Jenkins, MapR, Hive, Spark, Java, Maven,
Shell, Hue, Nexus, Cucumber, Gradle, Oozie, Alteryx
Jan 2018 - Jan 2018
Data Engineer
BNP Paribas, Monreuil
Projet : création d'un Data Lake pour lʼingestion des données massives pour
les entités BNP (Fortis, BNL et BDDF)
Participation au développement du File Collector (ingestion, validation et
conversion des données)
Intégration continue et déploiement des modules à l'aide de Jenkins,
Nexus, Git
Gestion des dettes techniques et des correctifs de code avec Sonar
Revue et validation de code des autres membres dʼéquipe
Implémentation du mécanisme SSL avec les certificats JKS pour une
application Spark Streaming en Scala
Utilisation de Spark Streaming pour traiter les topics Kafka et les stocker
dans HDFS
Création des jobs Jenkins pour automatisation des tests et génération des
rapports Cucumber
Test des composants avec TDD et BDD pour une utilisation multiple cas
Développement des tests de bout en bout pour tous les composants à
l'aide de Jenkins.
Orchestration des jobs Spark pour le stockage, le compactage et création
des tables sur Hive à partir des fichiers Avro et ORC
Environnement technique :Git, Jenkins, Hadoop, Hive, Spark, kafka, Java,
Scala, Maven, Shell, Linux, Sonar, Nexus, Cucumber
Oct 2016 - Dec 2017
Expert BI
Service Premier Ministre
Projet : l'objectif du projet est de maintenir et de faire évoluer un outil de
collecte, de consolidation et de restitution des données relatives aux
investissements dans le cadre de la mission de suivi et d'évaluation des
programmes d'investissements
Préparation et installation des serveurs & environnements
Correction des anomalies : reporting JASPER, traitements MDM, tâches
Talend...
Maintenance et développement des traitements et jobs Talend
Administration des outils (TAC, MDM, Bases de données MySQL)
Migration du MDM
Mise à jour du portail SISE (JAVA, JEE)
Intégration des flux
Tests techniques et fonctionnels
Collaboration et échange avec la MOA et la DSI pour la collecte des
besoins, l'analyse et la correction des anomalies
Chiffrage des évolutions
La traduction technique des besoins fonctionnels
La mise en production
La maintenance corrective et évolutive
Environnement technique :Talend MDM, ETL Talend, Talend
Administration Center, Jasper Report, Jasper soft Studio, MySQL 5.5, JAVA,
Apache Tomcat, SVN, Debian 7, Mantis
Oct 2015 - Sep 2017
Analyste / Développeur BI
Agence de services et de paiement (ASP)
Projet : gestion des Fonds Européens pour la Programmation 2014
Création des data‑model et des connecteurs (Administration Console)
Consolidation (Transformation & Agrégation des documents) (Java &
Groovy)
Analyse, nettoyage & indexation des données
Centralisation des données de différents systèmes sources dans
l'agrégateur.
Création des rapports (Mashup Builder)
Traitement et préparation des flux d'entrés
Spécifications techniques et fonctionnelles
Tests unitaires
Création des documents de formation utilisateurs
Environnement technique: Exalead, DBeaver, MySQL, PostgreSQL, Talend
Data Integration, java, groovy..
Oct 2014 - Sep 2015
Analyste / Développeur BI
Ordre National des Pharmaciens, Paris
Projet : participation à la réalisation dʼun projet décisionnel qui consiste à
produire des statistiques annuels sur le nombre des pharmaciens (inscrits,
radiés.) et leurs activités dans les secteurs pharmaceutiques (propriétaire ou
adjoint officine, distribution médicament, laboratoire de recherche,
hospitalier…) ainsi que les inscriptions des entreprises et des établissements
pharmaceutiques.
Collecte des données avec lʼoutil Talend (requêtes SQL sous Oracle et
InfiniDB / mySQL)
Création / modification de tables sous InfiniDB
Modélisation en décisionnel (schéma en étoile)
Création des rapports avec Jaspersoft Studio (Formation 2 jours)
Interrogation dʼannuaire LDAP pour la gestion des accès aux rapports sur
Jasper Report Server
Environnement technique :Talend Data Integration 5.6.1, Oracle, MySQL,
InfiniDB, SQLite, JasperSoft Studio, R studio…