Missions Expert GOOGLE DATA STUDIO : Découvrez les offres de mission déposées

Exemple de missions de Thomas,
Expert GOOGLE DATA STUDIO habitant les Alpes-Maritimes (06)

• Leader technique

  Amadeus, Nice
  Jan 2021 - aujourd'hui

  Projet DIH Datalake
  Dans le cadre de cet ambitieux projet pilote au sein du département Big Data Solution d&#x2019Amadeus, j&#x2019ai eu l&#x2019opportunité de réaliser les
  tâches suivantes:
  - parachever une architecture de type « medallion » (tables bronze/silver/gold) fournissant des datamarts à haute valeur ajoutée aux
  compagnies aériennes
  - implémenter personnellement en Scala de 90% des composants du pipeline pour la plupart sans aucun bug plusieurs mois après la
  mise en production
  - concevoir et implémenter des algorithmes complexes pour les champs calculés et la corrélation en mode incrémental
  - optimiser et réduire drastiquement les coûts d&#x2019usage de Databricks et Snowflake en ayant la possibilité de faire encore mieux
  - partager mes connaissances, mes techniques d&#x2019optimisation et les bonnes pratiques à l&#x2019intérieur et à l&#x2019extérieur de l&#x2019équipe
  Projet ARI, BAC, Hospitality Data Core
  Mes compétences appréciées dans le domaine de Spark, Scala et des bases de données ont été mises à contribution sur divers ETL
  afin de trouver le meilleur compromis performance / coût / résilience en fonction des contraintes techniques et des exigences client de
  chaque projet.
  Sur les applications legacy, j&#x2019ai été capable d&#x2019appréhender du code complexe afin de l&#x2019améliorer ou de le faire évoluer étape par étape,
  avec pour objectif constant l&#x2019exploitation en production.

  Scala, Java, Python, Spark, Azure, Databricks, Snowflake, SQL, Git, sbt, shell script, Jenkins, Bitbucket, EventHub, modèles de données Star Schema et Data Vault 2.0 Expert Spark/Scala Scala, Kafka, Java, Spark, Databricks, Azure SQL server, Git, sbt, shell script, Jenkins, Bitbucket, Terraform

• Expert Spark/Scala

  Groupe BPC, Paris PHG project
  Jan 2020 - Jan 2021

  Au sein du projet PHG, nous développons des applications ETL et des outils pour ingérer, transformer et exposer les données dans un
  entrepôt de données dédié à un usage BI (Business Intelligence)
  .
  Mes responsibilités étaient de:
  - migrer les applications de Hortonworks HDP 2.6 vers 3.1 requérant au passage un important refactoring Maven
  - développer un outil de migration de données en Scala + bash + Hive
  - analyser et auditer un ERP de Moody basé sur Spark
  - implémenter diverses améliorations et évolutions des applications et librairies par la mise en oeuvre des bonnes pratiques, la
  déduplication et la simplification de code
  - développer pour le projet LCFT (lutte contre le financement du terrorisme) un service RESTful et un modèle de donnée HBase
  permettant de requêter parmi 3 million d&#x2019enregistrement sous 10 ms (6 mois de données et 30 millions de clients)

  Spark, Hive, Hbase, HDFS, Scala, Java, Spring, git, maven, shell script, Jenkins

• Expert Scala

  SRR (Altice), île de la Réunion
  Jan 2019 - Jan 2019

  Projet NOE &#x2013 équipe backend
  Dans le contexte de la refonte complète de l'ERP et du CRM chez SRR, la compagnie télécom leader à la Réunion appartenant au
  groupe Altice, avec l'objectif très ambitieux remplacer complètement la solution Oracle et SAP historique considérée comme trop
  coûteuse et plus assez évolutive, j'ai été appelé à rejoindre l'équipe backend avec 2 rôles principaux:
  - fournir une formation Scala à l'équipe, partager les bonnes pratiques de conception et de codage, prévenir les erreurs courantes
  - implémenter de zéro un composant en Scala baptisé Order Manager
  L'Order Manager est un composant gérant les commandes, c-à-d les processus métier, comme Siebel le fait du point de vue de l'équipe
  exploitation. Elément central de l'architecture micro-services, il pourvoit à tous les besoins des opérateurs pour surveiller et agir sur les
  processus métier dans le contexte de la production:
  - supervision
  - gestion des erreurs
  - reprise automatique sur erreur
  - planification de tâches
  - rejeu
  - workflows
  - mise en pause des traitements
  - rollback (saga pattern)
  - etc&#x2026
  La particularité de ce composant est qu'il se concentre à la fois sur les besoins des utilisateurs mais aussi sur les exigences des
  développeurs en fournissant les meilleurs standards de conception et de code pour implémenter facilement de nouvelles tâches, de
  nouveaux workflows ou tout autre extension permise par l'open source.

  programmation réactive, programmation fonctionnelle, architecture event-driven, micro-services, systèmes distribués, Saga design pattern, transactions distribuées, concurrence, tolérance aux pannes, haute disponibilité, Scala, Akka, Kafka, REST, Swagger, Slick, PostGres, Oracle, Docker, protobuf, JSON, ELK (Kibana)

• Expert Spark

  MycomOSI, Paris
  Jan 2017 - Jan 2019

  La suite EAA de MycomOSI fournit un suivi de la qualité de service numérique et permet aux opérateurs télécoms d'optimiser leurs
  réseaux et leur QoS dans les réseaux hybrides (virtuels et physiques) et d'accroitre l'agilité et l'efficacité au travers d'opérations
  automatiques.
  La conception de la plateforme MycomOSI offre des avantages tels que l'indépendance d'infrastructure, le déploiement agile, le
  dimensionnement élastique et la haute disponibilité, tout en fournissant les services communs tel que l'inventaire réseau unifié et la
  topologie dynamique, l'intégration avec les frameworks Big Data et les APIs ouvertes. La plateforme utilise une architecture microservices, containerisée et l&#x2019approche DevOps pour permettre le déploiement agile sur clouds privés et publics.
  En tant qu'expert Big Data, j'ai été impliqué dans le projet pour concevoir, développer et déployer une nouvelle application de streaming
  basée sur Spark Structured Streaming. On m'a donné de très fortes contraintes pour traiter les événements à fréquence élevée en
  temps réel avec des ressources limitées, tout en assurant la mise à l&#x2019échelle, la haute disponibilité et la robustesse demandée par des
  clients toujours plus exigeants.

  Scala, Spark( structured streaming), systèmes distribués, sémantique « exactly once », supervision, théorie des graphes, temps réel, mise à l&#x2019échelle, haute disponibilité, continuité des données et des services, micro-services, IaaS, Kafka, ElasticSearch, Redis, Openshift, Docker, REST, AWS, ELK (Kibana)

• Ingénieur Big Data

  Air France, Sophia Antipolis
  Jan 2015 - Jan 2017

  Projet OCP - Backend
  Le but du projet OCP, pierre angulaire du CRM, est de fournir en temps réel une vue à 360° des activités du client à tous les points de
  contact de l&#x2019entreprise et d&#x2019améliorer l&#x2019expérience client. Dans ce but, la plateforme OCP collecte, raffine, combine et enrichit les
  données client de diverses applications métier existantes en temps réel ou en mode batch.
  Le second objectif de la plateforme est d&#x2019accueillir un moteur de recommandation de voyage.
  Humainement OCP c&#x2019est :
  Une équipe Agile de 8-10 personnes dont 4 ingénieurs Big Data
  Techniquement OCP c&#x2019est :
  &#61623 une douzaine d&#x2019applications Spark
  &#61623 2 bases NoSQL
  &#61623 1 metastore Hive
  &#61623 500 millions de messages
  &#61623 30 millions de clients
  &#61623 30 GB de messages/jour
  &#61623 15 sources de données (en croissance constante)
  &#61623 un framework Java: ~400 classes, ~21000 lignes
  &#61623 un cluster de production Hadoop Yarn de 10 executors et 50 coeurs
  &#61623 un double flux temps réel alimentant une base MongoDB operationelle et une base analytique HBase
  &#61623 des streams Kafka partitionnés assurant la délivrance des messages
  &#61623 des batches programmés quotidiens
  &#61623 un moteur de recommandation
  Tâches principales:
  &#61623 finalisation du POC (4 mois)
  &#61623 définition de l&#x2019architecture fonctionnelle gérant les cas opérationnels (init, backup, retry, replay)
  &#61623 conception des fondations Java basées sur Spark Streaming
  &#61623 implémentation de traitements de messages/évènements temps réel provenant de sources de données diverses
  &#61623 gestion des sources et des releases sous Git
  &#61623 Définition du modèle de données, des indexes et de la clé de sharding de MongoDB
  &#61623 Partage des bonnes pratiques de développement (pull requests, design patterns, environments settings, Maven build process,
  JUnit,..)
  &#61623 migration de HDP 2.3 vers HDP 2.4
  Les points forts de l&#x2019expérience:
  &#61623 "Carte blanche" sur les choix techniques et architecturaux (Kappa architecture)
  &#61623 Equipe Agile (Kanban)
  &#61623 Apprentissage quotidien
  &#61623 Rôle à la fois fonctionnel et très technique
  &#61623 Capacité à traiter les contraintes élevées de la production :
  - zéro perte de données
  - gestion des données inconsistantes, manquantes, corrompues
  - contraintes de synchronisation d&#x2019évènements
  - traitement hautes performances
  - requêtage des bases efficace (indexes)
  - analyse et résolution des problèmes mémoire
  - monitoring au travers de tableaux de bord Kibana
  - minimisation du temps d&#x2019interruption de service lors des mises à jour

  Spark, Hadoop Yarn, Kafka, MongoDB, HBase, librairie Guava, ELK (Kibana) Outils: Git, Eclipse, Bamboo, Kibana, Sonar, Mongo Chef Langages: Java 7, format JSON, scripts shell Unix

• Ingénieur de développement Hadoop

  MEDIAMETRIE, Sophia Antipolis
  Jan 2013 - Jan 2015

  Projet Nielsen
  Capter le trafic Internet et étudier la navigation web d'un panel de foyers français volontaires et fournir différents indicateurs de référence
  sur la fréquentation des sites web en France.
  Réalisations :
  &#61623 participation à l'architecture en modules et à l'ordonnancement de la chaine de traitement
  &#61623 implémentation en Java des algorithmes map/reduce sur les données:
  extraction/chargement/transformation/filtrage/agrégati...