Manager big data freelance : Derniers freelances inscrits et dernières missions mises en ligne

Exemple de missions de Moez,
Manager big data habitant Paris (75)

• Carrefour -Senior Data engineer

  Jan 2023 - aujourd'hui

  Conception de pipelines & Migration de la plateforme sur un environnement cloud
  GCP.
  Création de jobs d’ingestion de normalisation et de persistance de données dans
  Gcs, Bigquery et Bigtable
  Développement de jobs spark / KafkaStream pour des traitements en temps réel
  (calcul des encours de commandes, stocks et transactions)
  Développement de services et des routes d’API Scalatra / Java SpringBoot afin
  d’exposer en temps réel les données au consommateurs.
  Déploiement et Orchestration de workflows Ansible/jobs online avec Kubernetes.`
  Modélisation de tables ( Bigtable, Bigquery) et Sizing des ressources pour
  l’optimisation des coûts.
  Mise en place des différentes stratégies de tests (unitaires, intégration, tests de
  charges) et Mise en production.

  Mots Clés : Google Cloud Platform, KafkaStream, Spark, Dataproc, Gitlab, K8S, Scala, Java, Sql, Gcs, Bigquery, Bigtable.

• Lead Data engineer

  BOURSORAMA -
  Jan 2019 - Jan 2023

  Animation des ateliers avec l’équipe métier, recueil des besoins et spécifications
  fonctionnelles.
  Identification des sources de données et leur modélisation selon le use case
  (analytique, opérationnel).
  Conception et développement de solutions en streaming de détection de fraudes
  en temps réel : Détection des prospects fraudeurs, des clients fraudés ainsi que les
  différents mouvements clients frauduleux.
  Migration de l'orchestration de Jenkins vers Airflow, Développement de DAGS tests
  et mise en production.
  Définition des différentes architectures des projets et refonte des architectures
  existantes. (ELK, Spark Batch/Streaming, Kafka...),
  Conception et mise en oeuvre des pipelines de données batch et temps réel et leur
  orchestration sur GCP et on Prem.
  Elaboration d'une stratégie de migration de données vers GCP dans le cadre d'un
  projet ML d'analyse de données par clustering et de détection d'anomalies.
  Développement et déploiement d'un feature store alimentant différents projets ML
  autour de la fraude afin de baisser le volume d'alertes et améliorer leur précision.
  Spark ML, Cassandra, HDFS, Airflow, Python.
  Maintenance évolutive et corrective des différents projets : Optimisation des
  applications Spark existantes, Garantie de la disponibilité des données entre les
  différents environnements (PROD,UAT,DEV) ainsi qu’entre les différents DataCenters.
  Conception et déploiement d'une architecture de DRP (disaster recovery plan) afin
  de garantir une haute disponibilité des applicatifs.
  Mise en place des différents Dashboards Grafana pour le monitoring.
  Déploiement des pipelines de données et mise en production grâce à des outils de
  « Continuous Delivery » tels que Jenkins, Airflow Nexus, Git, Stash.
  Participation à l'application de la méthodologie Scrum et présentation des démos
  lors des Sprint Reviews.
  Mots Clés : Spark (Structured Streaming/Batch), Scala, Python, Hadoop, Google Cloud
  Platform, Elastic, Grafana, Kafka, Cassandra, Nifi, Airflow, jenkins, Git, Agile (Scrum).

• Manager BIG DATA

  VAGANET -
  Jan 2019 - Jan 2023

  Responsable de la création et du développement de la practice « Data Intelligence »
  regroupant les expertises BIG DATA et DATA SCIENCE.
  Accompagnement d'une multitude de clients du CAC40 à mettre en place une
  culture "DATA DRIVEN" au sein de leurs équipes.
  Veille technologique, formation et accompagnement des consultants juniors et
  seniors sur différentes technologies. Spark, GIT , Kafka, GCP, Scala, Python.
  Définition des architectures, cadrage, conception, mise en place et lead des projets
  DATA jusqu'à la livraison et la maintenance évolutive et corrective:
  Gestion de carrière: entretien annuel, mise en place de formation, suivi de montée
  en compétence, définition d'objectifs individuels et des évolutions possibles.
  Entretiens technique, Validation des profils après la phase de sourcing, négociations
  salariales et signatures de contrats.

  Mots Clés : Google Cloud Platform, Kafka, Spark, Management, Python, Scala.

• Consultant Big DATA - GCP

  LISI AEROSPACE-
  Jan 2018 - Jan 2019

  Recueil et cadrage des besoins avec les demandeurs (IT ou métier), étude de la
  faisabilité technique et fonctionnelle et estimation de charge.
  Conception technique des solutions data à implémenter avec l'identification des
  services GCP à utiliser.
  Développement d'une solution de monitoring de l'usine en temps réel avec Data
  flow, Pubsub, Bigquery et Data studio.
  Développement de solutions techniques sur les composants Big Query, Data studio,
  Composer, Cloudstorage et Terraform : modélisation en SQL des données,
  automatisation.
  Documentation technique des solutions implémentées.
  Maintien du bon fonctionnement du périmètre data confié afin de garantir la qualité
  de service.

  Mots clés : GCP (BigQuery, Composer, Airflow,…), Dataflow, Terraform, Data Studio, Jira, Confluence.

• Consultant Big DATA - Spark

  DATALAKE -
  Jan 2017 - Jan 2018

  Mise en place d'une solution Big Data qui a pour but de prédire l'attrition des
  collaborateurs (Détection de Churn).
  Animation de workshops avec l’équipe métier pour le recueil des besoins et la
  rédaction des spécifications fonctionnelles.
  Définition des différents KPIs et indicateurs à mettre en avant: nombre de jours
  travaillés à la file, ratio nombre d’absences non justifiées/nombre total d’absences.
  Extraction des données source, transformation, nettoyages et chargement vers
  l'HDFS via SQOOP.
  Transformation et chargement des fichiers CSV dans l’HDFS.
  Préparation et extraction des données depuis Hive via Spark SQL et Spark
  Dataframes.
  Transformation, aggrégation et analyse des données via Spark et python.
  Stockage des données enrichies et aggrégées dans HDFS et alimentation des
  tables Hive.
  Développement du rapport sous Power BI ( DAX ) permettant la prédiction de
  l’attrition des collaborateurs.
  Réalisation des tests fonctionnels et mise en production.
  Présentation des démos lors des Sprint Review.

  Mots Clés : Hadoop, Spark, Scala, HDFS, Hive, SQOOP, SQL, Power BI.

• Data Analyst

  Doctolib -
  Jan 2017 - Jan 2017

  Mise en place d’une solution d'aide à la décision permettant de mesurer la qualité
  de l'intégration des données dans la base de données de Doctolib à partir des
  différents ERP sources.
  Animation de workshops avec l'équipe data et participation au processus
  d’intégration des données depuis les différents ERP sources.
  Identification des différents processus critiques à monitorer et à automatiser:
  problème de double rendez-vous, duplication des données et complétude des
  données patients.
  Recueil des besoins techniques, étude des choix technologiques (benchmarking :
  Qlik Sense vs Power BI) et participation à l'élaboration de la road map technique.
  Définition des différents KPIs et validation avec les managers (Exemple: nombre de
  numéros de téléphone renseignés par rapport au nombre de patients).
  Modélisation des dimensions et table de faits et réalisation de la modélisation
  souhaitée (modélisation en étoile).
  Développement des différents tableaux de bord permettant de monitorer:
  La qualité des imports de données effectués depuis les ERP sources vers la base
  Doctolib.
  La performance globale de l’équipe import: nombre d'imports faits par
  personne/jour/pays, ratio imports valides/imports erronés.
  Formation des managers et des membres de l’équipe "Import" à l’utilisation des
  différents rapports en vue de l’amélioration de la performance globale .
  Réalisation des différents tests fonctionnels via des simulations d’import.
  Mise en production des dashboards développés
  Pilotage des opérations de maintenance corrective et évolutive sur les rapports
  existants.

  Mot clés: PowerBI, PostgreSQL, SQL, Expression régulières, PuTTY, BalsamiqMockups.