CV/Mission d'Ingénieur hadoop freelance

Exemple de missions de Djamel,
Ingénieur hadoop habitant Paris (75)

Expérience professionnelle

CACIB : Data Ingénieur Spark / Kubernetes / S3 04/2024 – 05/2025(13 mois)
Projet Programme Bâle 4 : Refonte de l’ensemble des moteurs de calcul risques
Contexte : Dans le cadre du programme Bâle 4, le projet vise à refondre les moteurs de calcul des risques
en migrant vers une architecture Big Data. Cette refonte permet de répondre aux exigences
réglementaires et d'améliorer la génération des rapports pour les entités métiers.
Tâches
&#10003 Analyse des besoins techniques et fonctionnels avec les équipes métier.
&#10003 Participation aux cérémonies agiles (Sprint Planning, Daily, Sprint Review, Rétrospective)
&#10003 Conception et mise en place de l’architecture du projet P3 : Reporting & Restitution
&#10003 Développement et optimisation des jobs Spark pour le traitement des fichiers Parquet (lecture,
transformation, écriture en BD et sur S3).
&#10003 Test & validation des résultats avec PySpark via Jupiter Notebook
&#10003 Orchestration des workflows avec Argo Workflows et ArgoCD.
&#10003 Mise en œuvre et gestion des pipelines CI/CD avec GitLab CI et Docker.
&#10003 Assistance aux phases de recette, qualification métier et tests de performance.
&#10003 Analyse et correction des anomalies fonctionnelles et techniques.
Environnement : Java 17, Spark 3.4.0, PySpark, Python, Jupyter Notebook, Parquet, IceBerg, S3 MinIO,
Gitlab CI/CD, Docker, Kubernetes, SonarQube, K9S, ArgoCD, Oracle, SQL, Shell, Scrum

DGFIP : Data Ingénieur PySpark / Hadoop 09/2023 – 03/2024 (08 mois)
Projet Refonte ICAM V2 – Infocentre national du recouvrement des amendes
Contexte : Refonte de l’infocentre ICAM pour migration vers une architecture Big Data basée sur le Data
Lake TDP Hadoop et exploitation via API PySpark, en remplacement de la solution SAS.
Missions :
&#10003 Développement et optimisation des jobs PySpark pour ingestion, traitement et transformation
des données amendes (sources internes et ANTAI) dans le Data Lake
&#10003 Mise en place des règles de qualité des données : nettoyage, validation et gestion des erreurs
dans les pipelines Spark.
&#10003 Tests et validation des traitements avec Jupyter Notebook.
&#10003 Collaboration avec l’équipe MOE pour support aux requêtes spécifiques et mise à disposition
des données traitées.
&#10003 Participation aux phases de recette technique et ajustement des pipelines selon retours métier.
Environnement : PySpark, Python, Data Lake TDP Hadoop, Jupyter Notebook, GitLab CI, Scrum.

Picard : Tech Lead Data ingénieur 10/2021 – 09/2023 (23 mois)
Projet : Vision Client 360°
Contexte : Mise en place d’un Data Lake Vision 360° à des fins Marketing et Analytics : Programmes de
fidélisation, Coupons (Welcome, Birthday, Events), et communication multicanale optimisant
ainsi la promotion des offres de manière stratégique (Maxxing, Selligent)
Tâches
&#10003 Analyse des besoins en collaboration avec les différentes équipes métiers
&#10003 Participation aux cérémonies agiles (SP, DM, SR, Retro)
&#10003 Pipelines d'ingestion de données depuis Salesforce, Référentiels, dépôt SFTP
&#10003 Développement des DAG Airflow/PySpark (Ciblage,Coupon,Cartes, Mouvement,Segmentation)
&#10003 Mise en œuvre systématique de tests unitaires sur les transformations PySpark via pytest et
chispa, garantissant la fiabilité des pipelines
&#10003 Intégration REST avec Maxxing et Selligent (Gestion intelligente des campagnes)
&#10003 Ordonnancement, exécution et supervision des jobs Airflow (DAG)
&#10003 Optimiser en continu des performances des services (Airflow)
&#10003 Mise en place d’une chaîne CI/CD avec GitLab, docker et Kubernetes
&#10003 MCO : Maintenance en Conditions Opérationnelles : Suivi de production
Environnement : Python 3.10, PySpark, Parquet, PyCharm, Airflow 2.2.5, Gitlab CI/CD, Docker, Kubernetes,
Shell, pytest, chispa, Azure [Storage, MV, Data Lake Storage Gen2]

HACHETTE LIVRE : Data ingénieur Cloud Azure 01/2020 – 09/2021(21 mois)
Projet : « CYCLADE » : Cycle de vie des articles éditoriaux
Contexte : Mise en place d’une chaine de traitement analytique sur Azure, afin d’optimiser la production,
la diffusion, la promotion des articles à base de critères pertinents
Tâches
&#10003 Ateliers métiers avec les équipes marketing et communication (Use cases, KPI, Insight, …)
&#10003 Ingestion des données depuis DB2, Salesforce, Partenaires avec Synapse pipelines
&#10003 Conception et alimentation de Data Lake Storage
&#10003 Traitement des données (Filtre, transformation, enrichissement, …) avec Spark et SQL
&#10003 Alimentation et actualisation de la matrice de distribution dans Cosmos DB
&#10003 Mise ne place de chaine CI/CD avec Azure DevOps
&#10003 Gestion et suivi d’incidents de production
Environnement : PySpark, Python 3.8, pytest, Jupyter Notebook, Azure (ADF, Synapse Analytics, Data Lake
Storage, Blob Storage, Cosmos DB, DevOps), SQL, DB2, SQL, Scrum, Jira

Hyppner : Tech lead Data 01/2019 – 12/2019 (12 mois)
Projet : Intégration d’une plateforme Web B2B propriétaire (Shiptify) de mise en relation entre des
Clients chargeurs et des transporteurs
Contexte : La plateforme permet à des clients chargeurs d’organiser leurs transports de marchandise
(Devis, réservation directe, suivi des colis, réclamations, reporting…)
Tâches
&#10003 Identification et synchronisation des systèmes d’information transport & la plateforme cible :
Utilisateurs, clients, données de transports, données de suivis, demande de devis, demande de
transports
&#10003 Mise en place d’une architecture Event Driven (CDC, Kafka, API)
&#10003 API Rest pour récupérer les détails des données transports
&#10003 Mise en place de brokers Kafka sur GCP
&#10003 Déploiement des micro services : Docker, GKE
&#10003 Synchronisation des données en temps réel : Producer et Consumer Kafka/API en Java
&#10003 Mapping entre données Transports/Plateforme (MongoDB, Spring batch)
Environnement : GCP (GKE, App Engine, Pub/Sub), Java, JEE, Spring (Kafka, Data, Cloud, Rest), Qlik Replicate
(CDC), DB2, Tomcat 8, Jenkins, Git, IntelliJ, Docker, gravitee, Postman, SQL, Shell, Scrum

BUREAU VERITAS : Réfèrent technique JEE /Data 09/2017 - 11/2018(15 mois)
Projet: « ASWA »: Armenian Single Window for Automotive
Contexte : Afin de lutter contre les arnaques à l’assurance, la CBA a décidé de mettre en place un guichet
unique multi compagnies afin de mieux contrôler l’activité d’assurance automobile
Tâches
&#10003 Prise en compte des dossiers de spécifications fonctionnelles
&#10003 Conception du Modèle de données multi-agences
&#10003 Définition des règles de mapping de données (Migration)
&#10003 Implémentation des jobs de migration des données avec Talend
&#10003 Implémentation d'une chaîne de traitement sous ELK pour l'analyse des données d'assurance
&#10003 Mise en place d'une surveillance de la qualité du code à l'aide de SonarQube
Environnement : Java EE, Springboot, ELK (Elasticsearch, Kibana), Talend TOS, WS REST, Tomcat7, IntelliJ,
PostgreSQL, Git, Jenkins, SonarQube (PMD, Checkstyle et FindBugs), Jira, Scrum

Banque de France : Ingénieur étude et développement 04/2015 - 08/2016(17 mois)
Projet : « STORE » Système de Traitement des Opérations de marchés et Risques
Tâches
&#10003 Implémentation de la chaine STP (Straight Through Processing) en Java/Camel/FIX
&#10003 Conception et réalisation d’un module centralisé de gestion d’anomalies STP
&#10003 Réalisation d’une IHM de consultation des anomalies à destination des traders
&#10003 Packaging et livraison via Maven-release-plugin & DeployIt
Environnement : Java 6, JEE Spring, Tomcat-6, Camel, Oracle 11g, JIRA, Juno, FIX (Financial eXchange)

BDF – ACPR : Ingénieur études et développement 01/2013 - 02/2015(26 mois)
Projet : « FONGAR » : FONds de GAranties Refonte (Garanties des Dépôts, des Titres et des Cautions)
Tâches
&#10003 Réunions fonctionnelles (Atelier Métier) et de réunion de suivi (Comité de suivi)
&#10003 Développement de la couche de traitement en JAVA/Spring-Batch
&#10003 Développement de la couche présentation en JSF/Spring Web Flow
&#10003 Développement des Web Service Spring-WS et implémentation ORM avec Hibernate
&#10003 Méthodologie Agile (Scrum) avec sprint de deux semaines,
Environnement : Tomcat-6, Java6, Spring (IOC, batch, WS) Oracle 11g, JIRA, Jaxb, Eclipse, SoapUI, UNIX

Agence France Presse : Ingénieur études et développement 03/2011 - 11/2012(21 mois)
Projet : « AFPQuotes » : Mise en place d'une plateforme d’extraction, validation et match de citations
&#10003 Coordination des réunions et rédaction des spécifications fonctionnelles
&#10003 Développement des scripts python/NLP pour l’extraction des citations/Auteurs
&#10003 Implémentation du moteur d’indexation de citation dans Lucene en Java
&#10003 Création des Web Services client et serveur avec Spring WS
Environnement : Python 3.0, NLP, Java 6, Spring, Lucene, Eclipse 3.2.2, Tomcat-6, XSD, WSDL, MySQL

CSP SI VEOLIA : Ingénieur études et développement 01/2010 - 02/2011(14 mois)
Projet : « VCMS » : Veolia Customer Management System (CC&B)
&#10003 Analyses et mise à jour des SFD et STD (Internal & External Design)
&#10003 Développement spécifique et paramétrage CC&B en Java
&#10003 Tests d’intégration PGI et rédaction des UTP : Unit Test Protocol
Environnement : CC&B, Tomcat 5.5, WebLogic, Oracle, JAVA, Eclipse 3.1, ALM, SQL, FileZilla