Freelance Snowflake : Distinguez les savoir-faire qui vous manquent

Exemple des missions de Rafik,
freelance SNOWFLAKE résidant dans les Hauts-de-Seine (92)

Expérience professionnelle

Hermès - Senior Data Engineer - Depuis mai 2024
Contexte : La mission s’inscrit dans le contexte d’integration et de la migration des données Retail vers la
plateforme Data sur Snowflake.
Travaux réalisés
Intégration des données à temps réel vers Snowflake avec Snowpipe.
Modélisation des données en étoile.
Préparation et agrégation des données avec DBT pour alimenter les Datamarts (Business Views) sur
Snowflake.
Ordonnancement des jobs d'orchestration avec Opcon.
Gestion du code sur GitlabCI.
Planification et gestion des tâches techniques.
Référent technique et Superviseur des différents développements.
Revue de code, tests unitaires et tests de performance du service.
Livrables : code, documentation, revue de code.
Environnement technique
DBT, AWS, Snowflake, SQL, Python, GitlabCI.

Bonpoint - Senior Data Engineer - De janvier 2024 à mai 2024
Contexte : La mission s’inscrit dans le contexte de la migration des données vers le cloud en mettant en place une
plateforme Data sur Snowflake.
Travaux réalisés
Conception et Mise en place de la plateforme de données sur Snowflake.
Intégration des données à temps réel vers Snowflake avec Snowpipe.
Intégration des données Batch vers Snowflake avec des procédures Stockées.
Ordonnancement des jobs d'orchestration avec des tasks Snowflake.
Gestion du code sur Azure Devops.
Animer des ateliers avec le client pour définir les stratégies de stockage des données.
Planification et gestion des tâches techniques.
Référent technique et Superviseur des différents développements.
Revue de code, tests unitaires et tests de performance du service.
Livrables : code, documentation, revue de code.
Environnement technique
Python, Azure, Snowflake, Azure Devops, SQL, Git, SchemaChange.

Cegid - Senior Data Engineer - De janvier 2024 à février 2024
Contexte : La mission s’inscrit dans le contexte d'un concept of proof afin de migrer des données on premise vers
le Snowflake en mettant en place une plateforme Data.
Travaux réalisés
Mise en place d’une plateforme de données sur Snowflake.
Intégration des données depuis une API vers Snowflake avec Fivetran.
Référent technique et Superviseur des différents uses cases.
Livrables : code, documentation, revue de code.
Environnement technique
Snowflake, Fivetran, SQL, Python.

PUR - Senior Data Engineer/Architect - De avril 2023 à décembre 2023
Contexte : La mission s’inscrit dans le contexte de la gestion, le suivi et l'alimentation par lot (batch) de la
plateforme Big Data avec des données de plantations d’arbres.
Travaux réalisés
Collecte et insertion des données brutes issues des formulaires via une API, vers ADLS et PostgreSQL.
Analyse et correction des bugs.
Mise en place d’une plateforme de données sur Snowflake avec Terraform.
Intégration des données vers Snowflake avec Airbyte.
Gestion du code sur Github et Azure Devops.
Référent technique.
Revue de code, tests unitaires et tests de performance du service.
Livrables : code, documentation, revue de code.
Environnement technique
Python, Azure (ADLS, Azure Functions, PostgreSQL, Azure Devops), Snowflake, Airflow, Airbyte, SQL,
Github, Terraform, DBT.

UGC - Senior Data Engineer - De mars 2023 à avril 2023
Contexte : La mission s’inscrit dans le contexte de diagnostic et d’audit d’une nouvelle plateforme Data.
Travaux réalisés
Choix du modèle, qualité et monitoring des données.
Roadmap, développement agile et choix des solutions analytiques.
Livrables : documentation.

Clarins - Data Engineer - De novembre 2022 à février 2023
Contexte : La mission s'inscrit dans le contexte Move to Cloud des différentes données de l'entreprise issues des
systèmes sources (caisses, usines, logistique,..).
Travaux réalisés
Collecte et insertion des données brutes depuis ADLS vers Snowflake avec Databricks, Azure Data Factory
(ADF) et PySpark.
Modélisation des données en étoile.
Préparation et agrégation des données avec PySpark pour alimenter les Datamarts (Business Views) sur
Snowflake.
Planification des jobs avec ADF.
Intégration Continue de scripts avec Github et AzureDevops.
Revue de code, tests unitaires et tests de performance du service
Livrables : code, documentation, revue de code
Environnement technique
PySpark, Azure (ADLS, Azure DevOps, Databricks, ADF), Github, Snowflake, SQL.

Aware by Les Mousquetaires - Data Engineer - De août 2022 à novembre 2022
Contexte : La mission s'inscrit dans le contexte de suivi de la qualité de données sources issues de tickets de
caisses, afin de faire des statistiques et alertes sur les données reçues, manquantes et conformes aux règles de
gestion métier.
Travaux réalisés
Collecte des données statistiques brutes depuis ADLS avec Python.
Développement des règles de gestion métier avec Python (Pandas).
Mise en place des Dashboards pour le monitoring des données avec Streamlit.
Revue de code, tests unitaires et tests de performance du service.
Document applicatifs nécessaires au transfert de connaissances de l'entité et en dehors de l'entité.
Livrables : code, documentation, revue de code.
Environnement technique
Python (Pandas, NumPy), PySpark, Azure (Databricks, ADLS, Azure DevOps, ADF), Streamlit.

Groupama - Data Engineer - De novembre 2020 à juin 2022
Contexte 1 : La mission s'inscrit dans le contexte de l'intégration et le traitement des données multi risques (à temps
réel) dans les datamarts afin de créer et suivre les KPI des métiers.
Travaux réalisés
Collecte des données brutes depuis des Topics Kafka avec Scala.
Traitement et raffinage des données en temps réel dans des topics Kafka avec Spark Streaming(Scala).
Préparation et agrégation des données pour alimenter les Datamarts (Business Views) sur Oracle.
Tests technico fonctionnels de validation des traitements.
Intégration Continue de scripts avec GitLab-CI.
Planification des jobs sur Mesos.
Revue de code, tests unitaires et tests de performance du service
Mise en production du service
Document applicatifs nécessaires au transfert de connaissances de l'entité et en dehors de l'entité.
Livrables : code, documentation, revue de code
Environnement technique
Spark Scala, Kafka, Spark streaming, Mesos, MongoDB (NoSQL), GitLab-CI, Oracle SQL Developer.

Contexte 2 : La mission s'inscrit dans l'intégration et le traitement des données assurances vie (par lots) dans le
datalake central et datamarts des équipes métiers, afin de créer et suivre les KPI des métiers.
Travaux réalisés
Collecte des données brutes depuis des Topics Kafka.
Traitement et raffinage des données par lot dans Hive avec Scala.
Préparation et agrégation des données pour alimenter les Datamarts (Business Views) sur Oracle.
Tests technico fonctionnels de validation des traitements.
Migration des jobs depuis Hadoop vers Mesos.
Revue de code, tests unitaires et tests de performance du service
Mise en production du service
Documents applicatifs nécessaires au transfert de connaissances de l'entité et en dehors de l'entité.
Livrables : code, documentation, revue de code
Environnement technique
Spark Scala, Cloudera, Kafka, Mesos, Hive, Oozie, GitLab, Oracle, SQL Developer.

Micropole - Data Engineer - De avril 2019 à octobre 2020
Contexte 1 : La mission s'inscrit dans l'objectif d'intégrer et de traiter les données iot issues des captations de
sarments (vignes).
Travaux réalisés
Collecte des données brutes depuis des Topics Kafka.
Alimentation des tables Hive avec PySpark.
Modélisation des données en étoile.
Création de Workflows planifiés avec Oozie.
Création d'une API avec Flask.
Intégration Continue de scripts avec Jenkins et Github.
Visualisation des données avec PowerBI.
Livrables : code, documentation
Environnement technique
PySpark, PowerBI, Cloudera, Hive, Flask, Kafka, Oozie, Jenkins, GitHub.

Contexte 2 : La mission s'inscrit dans le contexte de Proof of Concept (POC), pour la migration d'une architecture
big data depuis Hadoop vers AWS.
Travaux réalisés
Ingestion, compression sous format parquet et stockage des données brutes vers le datalake S3, en utilisant
Kinesis et Lambda.
Mise en place de Jobs Glue en utilisant PySpark.
Analyse et requêtage des données du Glue Data Catalog avec Athena.
Déploiement et gestion des ressources AWS avec CloudFormation.
Mise en place d'un environnement local de test des jobs Glue sous Docker.
Monitoring de la stack avec CloudWatch.
Livrables : code, documentation
Environnement technique
AWS (S3, Glue, Athena, Lambda), Python, PySpark, Node.js, Docker

Verisure - Data Analyst - De juillet 2018 à mars 2019
Contexte : La mission s'inscrit dans le contexte de la qualité, performance et de l'amélioration continue des données
de l'entreprise issues de l'activité de l'entreprise (systèmes d'alarmes, maintenances, facturation, clients, etc...)
Travaux réalisés
Réalisation et production des tableaux de bord pour les équipes métiers.
Analyses fouillées de données des rapports pour la qualité de données.
Création et alimentation d'une base de données avec les données extraites des différentes applications pour
mettre à jour les KPIs.
Amélioration et automatisation des processus de production des reportings.
Livrables : code, documentation, revue de code
Environnement technique
SAP Business Object, SQL Server, Suite Office, WinAutomation.