CV Expert streaming : Trouvez votre consultant indépendant

Exemple de missions de Fahd,
Expert streaming habitant le Val-d'Oise (95)

• Tech Lead Data/Ops :

  Le Figaro
  Jan 2025 - aujourd'hui

  Contexte :
  &#8722 Lead tech d’une équipe de Data ing
  &#8722 Moderniser la plateforme data et intégration des standard Dev / Ops / Infra
  &#8722 Organiser les flux de développement entre les Devs
  Réalisation :
  &#8722 Migration de l’infrastructure AWS sur Terraform
  &#8722 Introduction du concept CDC dans le monitoring des flux données
  &#8722 Pipeline CICD pour le CDP (Customer data platform) Treasure Data
  &#8722 Pipeline CICD pour les flux AWS EMR Spark / S3 / Snowflake / Airflow
  &#8722 Migration Framework Spark scala custom vers Pyspark
  &#8722 Introduction des Tests d’integration et Tests unitaires
  &#8722 Migration Talend vers DBT

  Environnement : Python, Scala, Shell, Spark, EMR, Snowflake, Talend, DBT, AWS, S3, Bitbucket, Terraform, Airflow, digdag, Tableau

• Senior Data Engineer / MLOps :

  Mirakl
  Jan 2024 - Jan 2026

  Contexte :
  &#8722 Intégration automatique des catalogues sur les marketplaces Mirakl a l’aide des LLM
  &#8722 Data platform bronze/silver/gold en CDC
  Réalisation :
  &#8722 Ingestion des catalogues en streaming avec kafka et spark dans des tables delta
  &#8722 Lancement des batch spark de traitement de catalogue en cdc et cdf
  &#8722 Traitement des catalogue et extraction des données via des appels MLFlow a plusieurs models
  ML
  &#8722 Optimisation des temps de prédiction MLFlow avec spark en redéfinissant l’appels aux models
  via des udfs spark
  &#8722 Migration de setuptools vers poetry
  &#8722 Développement des actions github pour le déploiement, les benchmarks, TU et TI
  &#8722 Développement de traitement batch et streaming pour la data platform

  Environnement : Python, Scala, Shell, Spark, Databricks, MLFlow, Delta, Kafka, AWS, S3, Github, Sentry, Terraform, Datadg

• Senior Data Engineer :

  Banque De France
  Jan 2022 - Jan 2024

  Contexte :
  &#8722 Expertise Hadoop/PySpark et développement de chaines ETL sur Airflow.
  &#8722 Architecture et mise en place des pipeline CI/CD.
  &#8722 Mise en place des normes et outils de qualité de code Python.
  &#8722 Maintenance de l’infrastructure Airflow sur OpenShift/Kubernetes.
  Réalisation :
  &#8722 Développement de dags Airflow pour l’ingestion et la transformation de plusieurs types de
  données (XML complexes, CSV, Parquet, TXT par bloc, NetCDF, Json, APIs Twitter et
  Factiva) avec python, Spark, Hadoop (HDFS, Hive, HBase) avec des volumétries pouvant
  varier de 100GO a 4TO
  &#8722 Ingestion des données Twitter et Factiva en temps réel et élaboration d’indicateurs d’inflation
  basé sur un algorithme ML avec Tensorflow, Scikit Learn, Pyspark
  &#8722 Traitement de larges volumétries (4TO) des données météo DRIAS au format NetCDF.
  &#8722 Développement de plusieurs InputFormat personnalisé pour Hadoop (blocs de text, NetCDF)
  &#8722 Gestion de l’infrastructure Airflow sur Kubernetes/OpenShift et Vault, implémentation d’image
  docker custom
  &#8722 Mise en place de pipelines Jenkins/XLDeploy pour la CI/CD
  &#8722 Mise en place des tests unitaires avec Unittest et des normes de qualité de code avec
  Flake8, Mypy et Pydocstyle
  &#8722 Mise en place de librairies python (monitoring, connexion APIs, déchiffrage GPG ...)

• Senior Data / Cloud Engineer / Tech Lead :

  Sitel
  Jan 2021 - Jan 2022

  Contexte :
  &#8722 POC pour un cluster Hadoop sur Docker pour un use case ETL/BI à partir des bases de
  données client mono-tenant.
  &#8722 Architecture et implémentation d’une solution Data sur le Cloud AWS.
  &#8722 Évolutions et maintenance de la partie Dashboard et Reporting d’une application web.
  Réalisation :
  &#8722 Production de KPI et de Dashboards sur un projet web monolithique de gestion de centre
  d’appels et des activités des téléconseillers.
  &#8722 Création d’une plateforme Analytics basée sur Docker, Swarm, Hadoop, Hive, Kafka, Sqoop,
  Spark
  &#8722 Architecture de la platform Analytics cible sur AWS (S3, EMR, Glue, Athena, Redshift, Kafka
  Confluent)
  &#8722 Implémentation d’un Producer pour Kafka Confluent sur la partie server d’une application web
  &#8722 Développements de Jobs sur Spark/EMR pour stockage des données de kafka vers S3
  &#8722 Exploration ad-hoc des données via Athena
  &#8722 Jobs Spark sur EMR/Spark pour la création des KPIs
  &#8722 Jobs Glue et Lambda pour l’homogénéisation et anonymisation des données sur S3
  &#8722 Implémentation et maintenance des pipeline Gitlab-ci.

  Environnement : Scala, Python, Java, Spring, Shell, Hadoop, Hive, Spark, Airflow, Elasticsearch, gitlab-ci, Sonar, Docker, AWS (Athena, S3, Redshift, Glue, EMR, Lambda), Kafka

• Expert Big Data / Tech Lead :

  Société Générale
  Jan 2019 - Jan 2021

  Contexte :
  &#8722 Mise en place et évolution d’un Framework de préparation et d’ingestion de données de
  control interne et de risques opérationnels dans le Datalake pour le projet DPC
  &#8722 Créer une data platform suivant le modèle Source View, Business View, Shared Usage View
  Réalisations :
  &#8722 Conception et développement d’un Framework d’ingestion de données avec Spark et Scala
  &#8722 Automatisation des jobs Spark via des Workflow et Coordinator Oozie
  &#8722 Paramétrage de la solution avec des Templates Jinja
  &#8722 Mise en place d’une chaine CI/CD avec Jenkins, nexus, ansible, Tower, AWX, Jinja, Python
  &#8722 Export des données sur SQLServer et Dashboards sur Power BI
  &#8722 Dashboards sur Power BI via Presto
  &#8722 Automatisation des monitorings des jobs Spark
  &#8722 Mise en place d’un moteur de règles pour l'évaluation des contrôles (algorithme Machine
  Learning)
  &#8722 Pilotage de l’équipe data ingénieurs DPC

  Environnement : Spark, Scala, Hive, Hadoop, Oozie, Gitlab, Jenkins, Nexus, SQLServer, Oracle, Java, Shell, Tower, AWX, Ansible, Presto, Azure

• Expert Big Data / Tech Lead big data :

  EDF
  Jan 2018 - Jan 2019

  Contexte :
  &#8722 Développement et extension d’un Framework interne (Sparktimus) pour l’ingestion et la création
  de workflows ETL via Spark et Oozie.
  &#8722 Architecture et développement du socle technique de l’équipe Datawarehouse dont le but est la
  transformation des données OME (objets métiers EDF) et leur acheminement vers l’équipe de
  Reporting.
  Réalisations :
  &#8722 Extension du Core du Framework basé sur le principe d’un data Node (extension d’une Map)
  et JXPath
  &#8722 Développement de la partie de gestion Workflow
  &#8722 Développement des partie Middleware pour les fonctions filtre, mapping, reduce
  &#8722 Développement des partie Input/Output pour Hdfs, HBase, Hive, Kafka, Elasticsearch, SQL
  &#8722 Architecture de la solution Datawarehouse basé sur HBase et Hive et Sparktimus
  &#8722 Développement Socle technique Datawarehouse
  &#8722 Mise en place du processus de déploiement des livrables Datawarehouse
  &#8722 Correctifs sur des chaines en production.
  &#8722 Amélioration des solutions existants et développement d’outils d’optimisation
  (Salting/Desalting des rowKey des tables Hbases existant pour mieux distribuer la charge sur
  les regions servers, CustomTableInputFormat pour mieux lire une table HBase depuis Spark,
  développement d’un middleware pour Spark et Hbase pour gerer les Cooprocessors et les
  filtre custom coté serveur)
  Environnement : Spark, Scala, Hive, Elasticsearch, Hbase, Kafka, HDFS, Oozie, Git, Jenkins, Nexus,
  SQLServer, Oracle, Java, Shell, Gradle, Cucumber
  
  04/17 – 09/18 : Tech Lead / Archi Big Data : Société Générale SGCIB
  Contexte :
  &#8722 Paramétrage des clusters Big Data pour répondre à une des problématique MPP et Real time
  dashboarding
  &#8722 Tech Lead pour le projet Activity & Risk Monitoring : conception et développement
  Réalisation :
  &#8722 Benchmark et configuration de Hawq comme solution MPP pour l’interfaçage en self BI avec
  Tableau sur le Data Lake.
  &#8722 Mise en place de l’architecture technique du projet ARM (Activity & Risk Monitoring) ainsi que
  l’implémentation de son socle technique (Spark, Scala, Oozie, Hive, Hbase, Knox, Solr,
  Tableau, PostgreSQL)
  &#8722 Mise en place et implémentation du frontend du projet ARM (Spring Boot, Angular 4)
  &#8722 Automatisation des phases de Build et Deploy du projet ARM avec Jenkins Pipeline
  &#8722 Expertise sur Tableau en tant qu’outil BI sur un Data Lake Hadoop
  &#8722 Installation et configuration des environnement (dev, uat et prod) et des serveurs (serveur
  BDD, slave Jenkins, serveur web) pour le projet ARM

  Environnement : Scala, Java, Shell, Hadoop, Hive, Hbase, Spark, Kerberos, Oozie, Solr, Sqoop, Knox, git, Jenkins, Sonar, Angular, Spring, Groovy

• Tech Lead / Archi Big Data :

  Société Générale SGCIB
  Jan 2017 - Jan 2018

  Contexte :
  &#8722 Paramétrage des clusters Big Data pour répondre à une des problématique MPP et Real time
  dashboarding
  &#8722 Tech Lead pour le projet Activity & Risk Monitoring : conception et développement
  Réalisation :
  &#8722 Benchmark et configuration de Hawq comme solution MPP pour l’interfaçage en self BI avec
  Tableau sur le Data Lake.
  &#8722 Mise en place de l’architecture technique du projet ARM (Activity & Risk Monitoring) ainsi que
  l’implémentation de son socle technique (Spark, Scala, Oozie, Hive, Hbase, Knox, Solr,
  Tableau, PostgreSQL)
  &#8722 Mise en place et implémentation du frontend du projet ARM (Spring Boot, Angular 4)
  &#8722 Automatisation des phases de Build et Deploy du projet ARM avec Jenkins Pipeline
  &#8722 Expertise sur Tableau en tant qu’outil BI sur un Data Lake Hadoop
  &#8722 Installation et configuration des environnement (dev, uat et prod) et des serveurs (serveur
  BDD, slave Jenkins, serveur web) pour le projet ARM

  Environnement : Scala, Java, Shell, Hadoop, Hive, Hbase, Spark, Kerberos, Oozie, Solr, Sqoop, Knox, git, Jenkins, Sonar, Angular, Spring, Groovy

• Tech Lead / Architecte Big Data :

  EDF
  Jan 2015 - Jan 2017

  Contexte :
  &#8722 Tech lead et développeur principal des solutions Big Data et Machine Learning BHC et
  Hypster
  &#8722 Intervention dans la standardisation des normes de programmation et d’intégration continue.
  Réalisations :
  &#8722 Cr...