Contexte : MI2B : est un Data-Lake dédié à l’analyse et la mise à disposition des données,métier De la Société Générale.
Conception et spécification technique
Développement
Analyse
Développement, correction et évolution des flux SPARK, Scala
Mise en place de SGMonitoring (monitoring des Jobs et de l’environnement)
Ajout et adaptation des Jobs à OOZIE
Contexte : ONEDATA : est un Data-Lake dédié à l’analyse et la mise à disposition des données métier LOUIS-VUITTON.
Conception et spécification technique
Développement
Analyse
Développement, correction et évolution des flux SPARK, Scala
Evolution et développement des webServices SCALA
Assurer le fonctionnement de la partie RUN (Monitoring des flux)
Contexte : DLK : est un Data-Lake dédié à l’analyse et la mise à disposition des données métier ENEDIS.
Conception et spécification technique
Développement
Analyse
Développement et correction des flux SPARK et SPARKSTREAMING
Evolution des fluxs SPRINGBOOT
Contexte : SOCLE : est un SI décisionnel dédié à l’analyse des données des clients (marché
de masse) EDF pour les fidéliser. Ces données sont ensuite exploitées par l’entité commerce
d’EDF.
Conception et spécification technique
Développement
Analyse
Correction et évolution des traitements Hadoop
Contexte : L’objectif est la mise en place d’un cluster AWS constitué de huit machines avec une préparation et une installation de la distribution CLOUDERA, ainsi que tous les outils « Hive, Impala, Zookeeper, Oozie… » et test de leurs fonctionnalités.
Création des VMs AWS et installation du CentOS
Préparation de l’OS pour l’installation d’Hadoop :
o Configuration des VMs.
o Installation de MySQL.
o Créations des bases de données.
Installation de Cloudera Manager « Server et agents »
Installation de Cloudera CDH.
Ajout et test des services « Sentry, HDFS, HBase, YARN, Spark, Sqoop, Hive, Impala,
Flume, Hue, Oozie, Zookeeper »
Activation de HDFS et YARN RessourceManager HA.
Mise en place des platforme Web « Hue »
Contexte : L’objectif est de créer à Umanis une solution de Data Science permettant de faire des analyses sur les personnes en entretien « Vidéo », Connaitre leurs émotions et envoyé un rapport d’émotions au RH.
Développement d’une application de reconnaissance d’émotions.
Utilisation des modèles machine learning afin d’établir l’analyse émotionnelle.
Utilisation d’akka stream ou spark streaming pour gérer les flux et les traitements.
o Développement d'une balise BLE " Microcontrôleur Nordic" en temps réel
(RTOS) en C/C++.
o Développement d'une application mobile pour la gestion de la balise
« Android » (JAVA & Android SDK).
o Utilisation du langage, JAVA sous Eclipse, pour le développement de l’application.
Data Science :
o Découverte et utilisation des APIs « web service de type REST ».
o Utilisation d'une Base de données (d’image, de fichier audio et texte) pour l’évaluation des modèles Machine Learning inclus dans les APIs.
o Récolte des résultats obtenues par les APIs en utilisant JAVA avec le test et la validation des résultats « Application des méthodes de la Data Science ».
o Développement d'un modèle de Machine Learning (Réseau de neurones) pour fusionner et améliorer le résultat.
Programmation d'un algorithme statique de reconnaissance faciale avec JAVA en utilisant une Web Cam.
o Envoie de données vers un autre microcontrôleur via câble USB