Développeur big data : Principaux experts dispos et dernières missions publiées

Exemple de missions de Ganséré,
Développeur big data habitant l'Essonne (91)

• DATA ENGINEER

  INFOPRO DIGITAL
  Jan 2019 - Jan 2020

  Mise en place de flux de données en Spark/Scala sur
  HDFS (sous IntelliJ)
  Création et déploiement de projet aws (CloudFormation)
  Tests unitaires/Documentation des flux
  Migration des flux depuis la plateforme on premise vers
  AWS
  Réalisation de projet dans le cloud avec AWS
  La DSI WEB répond aux besoins (applications, sites web,
  base de données,. .) des BU du groupe.Au sein de la DSI,
  dans le pôle Big Data, mon rôle est de participer à la mise
  en place et au maintien de cette architecture (à travers des
  flux de données, des bases de données, . . ) au sein du
  datalake et dans le cloud.
  Taches effectuées :

  Environnement et méthodologie : Spark, Scala, SBT, Python, AWS (S3, Lambda), Hadoop (HDFS, Hive), Databricks, Snowflake, IntelliJ, Dataiku, Sphinx

• CHEF DE PROJET DATA

  AXIONE
  Jan 2018 - Jan 2018

  Mise en place de la plateforme sous Sharepoint
  Rédactions de documentations fonctionnelles
  Analyse des indicateurs existants
  Recueil des besoins internes
  Pilotage des indicateurs et des niveaux de
  confidentialité
  Projet Performance RIP: Au sein d’Axione, dans le cadre de
  ce projet, la mission consiste à mettre en place une
  plateforme unique où seront exposé un ensemble
  d’indicateurs de performance.
  Taches effectuées :

  Environnement et méthodologie : Power BI, Gestion de projet, Sharepoint

• EDF

  DEVELOPPEUR BIG DATA
  Jan 2018 - Jan 2018

  Intégration de données de facturation en continu
  Amélioration des environnements existants
  Maintenance des chaines de traitements
  Projet : EDMA
  Au sein de la Direction Commerciale, la mission consiste à
  intégrer, maintenir, développer de nouveaux flux de
  données de facturations sur le marché d’affaires, et
  d’exposer ses données.
  Taches effectuées :

  Environnement technique : Hadoop, Hdfs, Hive, Hbase, Oracle, Git, Oozie

• DEVELOPPEUR BIG DATA

  SUEZ
  Jan 2017 - Jan 2018

  Maintenance de la plateforme sous Kubernetes / Docker
  Création de flows de données (météo, itinéraires,
  parkings, localisation et adresse des emplacements)
  Création de l’API permettant d’interroger les bases de
  données
  Maintenance : analyse / diagnostic / correction d’une
  plateforme de gestions de courrier
  Participation aux échanges techniques, fonctionnels
  avec l’ensemble des différents acteurs liés aux produits
  Projet : Smart Solutions
  Il s'agit de participer au développement, au sein de l'entité
  Innovation, dans un premier temps, d'une plateforme
  proposant des données en open data, (digital city St
  Etienne), et dans un second, de proposer une application
  mobile permettant de connaître l'état de places de parking
  en temps réels.
  Taches effectuées :

  Environnement technique : Kubernetes, Docker, Cassandra, MongoDB, InfluxDB, Javascript, Node JS, GitMéthodologie de travail : Agile

• DEVELOPPEUR BIG DATA

  ENEDIS
  Jan 2017 - Jan 2017

  Préparation des flux à intégrer dans HDFS (mode batch)-
  Intégration de données historiques dans HDFS
  Création optimisée de fichiers Avro liées aux flux- Création
  de tables externes sous Hive
  Intégration de données historiques dans HDFS- Usage du
  temps réel avec Kafka Connect (mode streaming)
  Dans le cadre d’un POC, la mission consiste à tester
  l’intégration en temps réels de données dans le B4ALL, de
  croiser ces différentes données et d’effectuer la restitution ;
  et également observer les limites du temps réel. Le B4ALL
  est la plateforme orientée Big Data, centralisant diverses SI.
  Ces SI envoient de façon régulière, des flux de données
  concernant la facturation, la consommation électrique ou des
  interventions de techniciens, aussi bien pour les particuliers
  que pour les professionnels.
  Taches effectuées :

  Environnement technique :Hadoop, Kafka Connect, Apache Ambari, Hive

• STAGE ARCHITECTE BIG DATA

  THALES AIR SYSTEMS
  Jan 2017 - Jan 2017

  Participation à la conception du schéma de
  l’architecture générale
  Intégration de sources de données : météo, plan
  de vol, données aéroportuaires, position des
  aéronefs
  Conception d’un datalake centralisant ses
  données
  Traitement des données batch

  Environnement technique: Kafka, Zookeeper, Cassandra (NoSQL),Nifi, Grafana, Web Services, java J2EE

• DEVELOPPEUR BIG DATA

  EDF
  Jan 2016 - Jan 2017

  Développement de flux métiers
  Rédactions de spécifications fonctionnelles
  Développement d'applications pour des usages
  métiers
  Recettes, tests JUnit
  Au sein de la Direction Commerciale, la mission
  consiste à superviser un cluster, d’assurer la mise en
  conformité des chaines de workflow, et également
  participer au développement d’usage métier.
  Taches effectuées :

  Environnement technique :Web Service (Spring, Hbase), Maven, Oracle Data Integrator

• STAGE BI/ BIG DATA

  BUSINESS & DÉCISION
  Jan 2015 - Jan 2015

  Etat de l'art sur l'architecture décisionnelle BI/Big
  Data
  Recherche et tests des différents composants afin
  d'obtenir une solution performante
  Intégration de données structurées/non
  structurées dans un ETL
  Utilisation d'Hadoop pour le stockage des
  données
  Création de graphiques et tableaux de bords pour
  la data visualisation via un outil de Reporting
  Exploration de données
  Environnement technique :
  Big Data : Cloudera (Hadoop), HDFS/YARN,
  MapReduce, Hive,Hbase, Spark, Spark
  Streaming, Scala, Pig
  Talend Open Studio for Big Data
  HP Vertica
  Qlik Sense, QlikView, Tableau Software
  Au sein de l’agence innovation, accompagné du
  responsable d’agence, la mission consistait à
  améliorer les outils utilisés dans l’architecture
  (architecture muni d’outils de BI) en les remplaçant
  par des outils issus des technologies du Big Data,
  notamment en ce qui concerne l'intégration et le
  stockage. Le but était de maitriser la consommation
  énergétique de bâtiments connectés, en analysant
  et recoupant les données de ceux-ci.