Missions BigQuery : Une multitude d'offres publiées tous les jours

Aperçu d'expériences de Hamid,
freelance BIGQUERY habitant les Hauts-de-Seine (92)

• Data engineer

  Ividata –
  Jan 2022 - aujourd'hui

  Description du contexte :
  Migration des entrepôts de données vers GCP (google cloud platform)
  Description mission :
  • Transfert des fichiers depuis le serveur vers Google Cloud Storage
  • Alimentation du data warehouse dans BigQuery
  • Transfert des données en batch de cloud storage vers BigQuery
  • Création de table, pré-traitement et transformation de donnée avec BigQuery
  • Création des routines pour inclure les calculs des KPI métiers dans de nouvelles tables

  Outils : Bigquery, Cloud Storage, Dataproc

• Data engineer intern

  Amadeus –
  Jan 2020 - Jan 2020

  Projet : Conception et réalisation d’un prototype de détection de fraude chez les utilisateurs.
  Contexte : L'objectif de ce projet est de créer un moteur de règles dynamique pour être intégrer à la
  plateforme de détection de fraude. Chez Amadeus, l'analyse du comportement des utilisateurs repose sur un
  ensemble de paramètres statiques et des règles hard-coded qui rendent très difficiles les évolutions des
  produits et l'adoption de nouveaux clients. Le but du projet est d'évaluer des alternatives et de comprendre
  comment rendre la plateforme de détection de fraude plus flexible et facilement ajustable de manière userfriendly.
  Le projet vise à tirer parti des techniques du moteur de règles pour construire un prototype capable de
  modifier les règles statiques ou les paramètres d'apprentissage automatique pendant l'exécution de
  l'application de fraude.
  • Des réunions hebdomadaires avec 2 tuteurs (Toutes les présentations et les réunions en anglais)
  • Collaborer avec les équipes métiers pour cadrer le besoin du projet
  • Benchmark des outils open source
  • Conception de l’architecture end to end de la solution
  • Installation et configuration de Drools avec Spring Boot
  • Développement du prototype (application web) capable de modifier les règles statiques et les
  paramètres de l’algorithme de machine learning en temps réel.
  • Restituer et vulgariser le prototype aux équipes métiers et techniques.

  Outils : Java, Drools, Spring, Spark.

• Data scientist intern

  Sanad assurance –
  Jan 2019 - Jan 2019

  Projet : Développement et mis en production des solutions qui permettent l’ingestion et le traitement de gros
  volumes de données de différentessources pour détecter les sinistres frauduleux dans l’assurance en utilisant
  Python et des algorithmes de machine learning et de deep learning.
  Contexte : Sanad assurance et tous les assureurs indemnisent trop de sinistres frauduleux. Cela s'explique par
  le fait que, pour la plupart des assureurs, les sinistres ne sont expertisés que sous la forte suspicion de leurs
  gestionnaires de sinistres. C'est dans cette perspective que se voit s'inscrire Ce projet de fin d'étude qui avait
  pour objectif : développer une méthodologie automatisée permettant de détecter les fraudes en amont du
  versement de l'indemnisation lors de la déclaration du sinistre.
  • Modélisation et Conception de l’application
  • Desréunions hebdomadaires avec le tuteur et le personnel du service du fraude pour la collecte
  des données
  • Ingestion, analyses et visualisation des grands volumes de données
  • Data cleaning et traitement des données avec Pandas.
  • Application de l’algorithme Decision Tree du Machine learning pour la détection des sinistres
  frauduleux
  • Application de l’algorithme CNN du deep learning pour classifier les images automobiles selon
  le degré et la position du dommage pour les comparer avec ceux déjà déclarées.
  • Implémentation d’un système de lecture d'immatriculation poursavoirsi le même sinistre a été
  déclaré plusieurs fois par l'assuré
  • Restituer et vulgariser les modèles aux équipes métiers et techniques.

  Outils : Python, SQL, Pandas, Scikit-learn, Keras, Tensorflow , Jupyter Notebook, Google Colab.

• Business intelligence inter

  Poste Maroc –
  Jan 2018 - Jan 2018

  Projet : Conception et mise en place d’un système décisionnel pour l’analyse de la solution « Active Track »
  d’acheminement des véhicules.
  Contexte : Poste Maroc dispose d’un service d’acheminement de véhicules « Active Track » qui génèrent de
  multiples données variées et volumineuses. Ces données ont besoin d’être traitées, analysées afin de faciliter
  les prises de décisions stratégiques et améliorer le service.
  • Analyse du besoin et détermination du cahier des charges
  • Alimentation des données issues de l’application dans l’ETL Talend
  • Création et alimentation des tables du data warehouse avec SQL
  • Création des tableaux de bord avec les KPIs convenus avec les métiers sous Power BI
  • Suivi des résultats d’analyse sur les tableaux de bord pour l’aide à la décision

  Outils : Talend, Power BI, Oracle Database.

• Développeur BI -

  Hôpital Cheikh Zaid
  Jan 2017 - Jan 2017

  Projet : Analyse multidimensionnelle et Prédiction du budget de l’hôpital.
  • Modélisation de la solution en UML : uses cases, diagramme de classes.
  • Partie analytique : Analyse du budget des périodes passées :
  ▪ Choix des KPIs métier et modélisation décisionnelle
  ▪ Alimentation des données
  ▪ Restitution des tableaux de bords
  • Partie prédictive :
  ▪ Prévision du budget pour les années à venir
  ▪ Implémentation de l’algorithme Decision Tree

  Outils : Sql server, Python

• Data Engineer

  Orange –
  aujourd'hui

  Contexte
  En tant que Cloud Data Engineer, ma mission consiste à mener à bien la migration du Data Warehouse
  de Teradata vers la solution BigQuery, qui est une plateforme de data warehouse proposée par Google
  Cloud Platform.
  Mes responsabilités incluent la conception et l'implémentation de l'architecture de données dans
  BigQuery, en veillant à ce que les schémas, les tables et les pipelines de données soient correctement
  configurés et exécutés. Je suis également chargé de l'extraction, de la transformation et du
  chargement (ETL) des données existantes de Teradata vers BigQuery, en veillant à maintenir l'intégrité
  des données et à optimiser les performances.
  Pendant le processus de migration, je collabore étroitement avec les équipes métier et les analystes de
  données pour comprendre les besoins spécifiques en matière de reporting et d'analyse. Je veille à ce
  que les requêtes SQL soient optimisées et que les données soient accessibles de manière sécurisée
  pour les utilisateurs autorisés.
  Missions
  o Définition, transcription des schémas et création des tables sur BigQuery.
  o Développement des Workflows d'orchestration en utilisant Airflow.
  o Création et industrialisation des pipelines ETL pour extraire les données de Teradata, les
  transformer selon les besoins spécifiques et les charger dans BigQuery de manière fiable et
  optimisée.
  o Création des environnements et attribution des habilitations sur GCP.
  o Mise en place des référentiels métier et de monitoring sur BigQuery.
  o Mise en place des référentiels métier et de monitoring sur BigQuery.
  o Support des feature Teams dans l'utilisation des outils GCP, des pipelines, et résoudre les
  problèmes ou les questions techniques rencontrés.
  o Copie de données vers GCP.
  o Amélioration des outils et des processus utilisés dans le cadre de la migration, en identifiant les
  opportunités d'automatisation, d'optimisation des performances et de simplification des tâches.

  Environnement technique : ● Python, SQL Git. ● Google Cloud Platform (GCP) : BigQuery, Apache Airflow, Firestore, Cloud Storage. ● Confluence, Jira.

• PROJETS ACADEMIQUES

  aujourd'hui

  • Challenge Kaggle : Mnist Digit
  Contexte : Dans le cadre d’un concours Kaggle, l’objectif est d'identifier correctement des chiffres de 0 à 9
  présents dans un ensemble de données relatives à des dizaines de milliers d'images manuscrites.
  • Implémentation de l’algorithme du réseau de neurones convolutif pour la classification des images
  • Suivi de l’évolution des couches des réseaux de neurones artificiels pour l’évaluation des performances
  Outils : Python et plateforme big data