CV/Mission de Data scientist PySpark freelance

Exemple de missions de Ken,
Data scientist PySpark habitant l'Oise (60)

• Data Engineer

  AXA – Nanterre
  Jan 2022 - Jan 2024

  Projet 1: Fiabilisation des DSN
  Contexte et objectif : Dans le cadre du traitement des fichiers DSN envoyés par les clients
  d’AXA, une fiabilisation de ces données est nécessaire afin de pouvoir répondre
  efficacement aux clients d’AXA et éviter les erreurs de paiement dans les arrêts de travail
  et les taux de remboursement.
  
  Environnement travail/fonctionnel : Équipe de 6 personnes en SCRUM
  Domaine d’intervention :
  ▪ Analyse des besoins potentiels et des données
  ▪ Mise en place des pipelines d’ingestion
  ▪ Déploiement (CI/CD)
  ▪ Industrialisation des travaux des Data Scientist
  ▪ Implémentation de briques en vue de la création d’une librairie
  
  ▪ Euroclear : Data Engineer – 7 mois
  ▪ Boursorama : Data Engineer – 9 mois
  ▪ Roquette : Data Engineer – 3 mois
  ▪ Louis Vuitton : Data Engineer – 2 ans et 2 mois
  ▪ Keyrus : Data Engineer – 9 mois
  ▪ SNCF : Ingénieur BI et Développement JAVA en Alternance – 3 ans

  Environnement technique : Python, PySpark, Azure DataBricks, Azure Data Factory, Azure DevOps(Board, Repos, Pipeline, Artifacts), Git, Pycharm

• Data Engineer

  EUROCLEAR – Bruxelles
  Jan 2021 - Jan

  Projet 1: Enrichissement du Datalake
  Contexte et objectif : Dans un environnement anglophone, mise en place de pipeline
  d’ingestion de données issue de bases de données IBM Mainframe pour l’enrichissement
  du datalake Hadoop et la mise à disposition pour les data scientist et les équipes du service
  Finance.
  Environnement travail/fonctionnel : Équipe de 10 personnes en SCRUM
  Domaine d’intervention :
  ▪ Analyse des besoins potentiels et des données
  ▪ Mise en place des pipelines d’ingestion
  ▪ Documentations techniques
  ▪ Design de chaînes d’ingestion
  ▪ Proposition d’amélioration de conservation et partage de connaissance
  ▪ Déploiement (CI/CD)
  Environnement technique :
  Scala, Spark, Hadoop, Cloudera, Azure DevOps(Board, Repos, Pipeline, Artifacts), Git,
  Splunk, IBM Mainframe, Kafka, Jira, IntelliJ, Eclipse, Maven, Bash
  Projet 2: Maintenance des pipelines des projets en production
  Contexte et objectif : Maintenir les pipelines en production dans le respect des SLA associées
  à chacun des différents projets dans le cadre de la Hotline du service Analytics
  Environnement travail/fonctionnel : Équipe de 10 personnes en SCRUM
  Domaine d’intervention :
  ▪ Troubleshooting
  ▪ Gestion des tickets
  ▪ Analyse de code et optimisation
  ▪ Transfert de connaissance.
  ▪ Déploiement (CI/CD)
  Dossier de compétences KBA / Data Engineer
  5 ans d’expérience

  Environnement technique : Scala, Spark, Hadoop, Cloudera, Azure DevOps(Board, Repos, Pipeline, Artifacts), Git, Splunk, IBM Mainframe, Kafka, Jira, IntelliJ, Eclipse, Maven, Bash

• Data Engineer

  BOURSORAMA – Boulogne-Billancourt
  Jan 2021 - Jan 2021

  Projet 1: Enrichissement du Datalake
  Contexte et objectif : Avancée de la construction du socle Hadoop et de sa résilience.
  Structuration de la données par la création de Masters à partir de données brutes ayant
  été nettoyée et préparée pour un usage généralisé. Afin d’accélérer le développement de
  nouvelles pipelines de données.
  Environnement travail/fonctionnel : Équipe de 8 personnes en SCRUM
  Domaine d’intervention :
  ▪ Analyse des besoins potentiels et des données
  ▪ Mise en place des pipelines d’ingestion
  ▪ Revue et optimisation des codes pour le passage en industrialisation
  ▪ Déploiement (CI/CD)
  ▪ Amélioration des règles de codages et de la structure des projets
  ▪ Enrichissement continue du code et mutualisation

  Environnement technique : Scala, Spark, Hadoop, Cloudera, NiFi, Jenkins, Nexus, Stash, Docker, Kafka, Zeppelin, Jira, IntelliJ, SBT

• Data Engineer

  Jan 2020 - Jan 2020

  Projet 1: Dynamic Pricing
  Contexte et objectif : industrialisation de modèles de pricing dynamique
  Les sujets ont porté sur : La revue des codes fournis par les Data Scientists en vue de leur
  industrialisation, l’industrialisation de ces scripts dans le Datalake. La mise en place de
  pipeline d’ingestion de fichiers en architecture serverless.
  Environnement travail/fonctionnel : Équipe de 5 personnes en SCRUM
  Domaine d’intervention :
  ▪ Définition des Best Practices en vue de l’industrialisation
  ▪ Mise en place des pipelines d’ingestion
  ▪ Revue et optimisation des codes pour le passage en industrialisation
  ▪ Industrialisation de modèles
  ▪ Tests unitaires
  ▪ Déploiement
  ▪ Implémentation d’Azure Function.
  Environnement technique :
  Python, Visual Studio Code, Git, Azure(Azure Blob Storage, Data Lake Storage, Azure
  Function, Azure DevOps, Azure Data Factory)
  Projet 2: E-Tabletting
  Contexte et objectif : E-Tabletting doit permettre la recommandation et la personnalisation
  des formulations des composées par les clients externes via des modèles d’Intelligence
  Artificielle. Pour cela, il est nécessaire d’implémenter différents types de bases : clients,
  process, produits, essais, etc.
  Environnement travail/fonctionnel : Équipe de 6 personnes en SCRUM
  Dossier de compétences KBA / Data Engineer
  5 ans d’expérience
  Domaine d’intervention :
  ▪ Analyse du besoin avec le Product Owner
  ▪ Définition des features avec le métier
  ▪ Mise en place des pipelines d’ingestion
  ▪ Extraction, Transformation et Traitement des données (fichiers sources aux formats
  divers(xlsx, docx, txt) issus de rapports d’essais cliniques, logs de presses à
  comprimé)
  ▪ Optimisation (temps d‘exécution, format des fichiers sources)
  ▪ Refactorisation du code
  ▪ Mise en production
  Résultats : Génération d’un jeu de données corrigée et utilisable pour la phase de
  modélisation.
  Environnement technique :
  Python, Visual Studio Code

• Data Engineer

  LOUIS VUITON – Châtelet (Paris I)
  Jan 2018 - Jan 2020

  Projet : Data Lab Louis Vuitton
  Contexte et objectif : Dans le cadre du développement de la plateforme ONEDATA (centre
  névralgique de la donnée au sein de Louis Vuitton), les sujets ont portés sur : le déploiement
  et monitoring de jobs, la mise en place de pipelines de traitement et de stockage des
  données produits issues du catalogue Louis Vuitton et du site internet ainsi que des processus
  d’alimentation d’un moteur de recherche interne à Louis Vuitton et d’applications annexe
  de recherche produit destiné aux vendeurs en boutique.
  Environnement travail/fonctionnel : Équipe de 7 personnes en SCRUM
  Domaine d’intervention :
  ▪ Analyse du besoin avec les équipes métiers
  ▪ Mise en place et industrialisation des pipelines d’ingestion, de transformation et de
  traitement des données :
  o Ingestion de données : produits, application lvlive (réseau social),
  application learning (réseau de partage de connaissance)
  o Transfert et traitement vers l’API REST du moteur de recherche Meilisearch
  o Traitement et alimentation de l’application de référencement du
  catalogue Louis Vuitton
  o Envoi des données pour l’alimentation du modèle de personnalisation du
  site WEB Louis Vuitton (QUBIT)
  ▪ Monitoring et Gestion des Jobs Spark (Airflow, Prometheus, Graphana, Python,
  Scala, Spark)
  ▪ Création et déploiement automatisé de Job de récupération et de traitement de
  données (produits, marketing) sur Cluster Cloudera.
  ▪ Monitoring et Gestion des Jobs Spark (Airflow, Prometheus, Graphana, Python,
  Scala, Spark)
  ▪ Script de traitement de données de chatbot Louis Vuitton, Traitement de donnée
  d'API de Social Listenning (Netbase) à des fins d'analyse de sentiments (Python,
  Jupyter Notebook)
  ▪ Gestion de base de données dans le cloud (Heroku)
  ▪ Indexation de données (Elasticsearch)
  Doss...

• aujourd'hui

  Projet 2 : Segmentation Client
  Contexte et objectif : En interaction avec la Direction Client, création de l’indicateur de
  Relation Bancaire et d’indicateurs associés pour segmenter les clients entre différents pôles
  et répartir la charge entre les équipes internes pour augmenter l’efficacité opérationnelle.
  Amélioration du ciblage pour les campagnes marketing et meilleur accompagnement des
  clients par la proposition de meilleurs services.
  Environnement travail/fonctionnel : Équipe de 8 personnes en SCRUM
  Domaine d’intervention :
  ▪ Analyse des besoins clients
  ▪ Analyse des données.
  ▪ Implémentation, proposition et amélioration des règles de gestion
  ▪ Mise en place de pipeline de traitement de données
  ▪ Déploiement (CI/CD)
  Environnement technique :
  Scala, Spark, Hadoop, Cloudera, NiFi, Jenkins, Nexus, Docker, Stash, Kafka, Zeppelin, Jira,
  IntelliJ, SBT
  Dossier de compétences KBA / Data Engineer
  5 ans d’expérience
  Projet 3 : Industrialisation des process d’ingestion NiFi
  Contexte et objectif : Dans le cadre du processus d’automatisation des pratiques de
  développement, mise en place d’un script de déploiement automatisé en production des
  ProcessGroup NiFi pour réduire les temps d’intégration et de développement des nouvelles
  sources de données d’alimentation du Cluster Hadoop sur plusieurs environnements de
  production
  Environnement travail/fonctionnel : Équipe de 8 personnes en SCRUM
  Domaine d’intervention :
  ▪ Définition des règles cibles d’industrialisation
  ▪ Benchmark et étude d’outils
  ▪ Implémentation de scénarii pour validation
  ▪ Mise en place du déploiement automatisé sur plusieurs environnement de
  production
  Environnement technique :
  Python, NiPyApi, NiFi Client, NiFi, Nifi Registry
  ROQUETTE – Lille (La Madeleine)