Missions Développeur big data : Découvrez les dernières offres déposées

Exemple de missions de Lamine,
Développeur big data habitant les Yvelines (78)

• BIG DATA ENGINEER

  FREELANCE
  Jan 2018 - Jan 2021

  Projet : Au sein du groupe EDF, projet de réalisation d’un outillage de déploiement permettant de
  standardiser les processus de déploiement des applications en environnement BIG DATA reposant sur
  les outillages DevOps, Tests unitair es des composants de la suite HortonWorks après des montées de
  version.
  Tâches et responsabilités :
  Définition de l’architecture
  Automatisation des déploiements d’applications Big Data
  Collecte des besoins commanditaires
  Développement
  Montée de version de cluster HDP de 2.5.3 vers 2.6.5
  Tests unitaires des composants du cluster après la montée de version.
  Support de niveau 3 et suivi des incidents Big Data

  HDP 2.5.3, 2.6.5 (Kafka, Spark, HBAse, Knox,Hive … ), Scala, Java, Gitlab, Jenkins, Ansible, … etc

• BIG DATA ENGINEER

  BNP Paribas
  Jan 2018 - Jan 2018

  Projet : Projet de Centralisation des données produites par le processus métiers du SI front et back
  office des clients professionnels et Entreprises.
  Tâches et responsabilités :
  Définition de l’architecture

  Apache Kafka, Apache Flink, Ansible

• Consultant BIG DATA

  EDF
  Jan 2017 - aujourd'hui

  Projet:Projet de Centralisation des données produites par le processus métiers du SI front et back
  office des clients professionnels et Entreprises. Tâches et responsabilités:
  
  Définition de l’architecture
  Développement de chaînes d’automatisation de transfert de données à partir d’un data lake sur un cluster Haddop vers une base relationnelle
  Développement de chaînes de traitement de données sur ODI: Création de mappings et packages
  Réalisation de tests de performances et optimisation des développements
  Assistance à la recette
  Suivi de l’avancement des sprints
  Déploiement et suivi dans la production

  Apache Kafka, Apache Spark, Scala, Hive, Sqoop, HBase , Oracle , Oozie, Shell , Java, Scala 2/4

• CONSULTING DEVELOPPEUR BIG DATA

  Colissimo
  Jan 2016 - Jan 2017

  Projet:Capture transformation et diffusion d’un large volume d’évènements colis en temps réel. Développeur Big Data dans une
  équipe chargée de la conception et de la réalisation d’un projet dont le but principal est de diffuser des événements colis aux partenaires concernés Tâches et responsabilités :
  Capture des événements colis via un topic Kafka
  Implémentation des règles de filtrages et de sélection des événements à diffuser
  Mapping de ces événements
  Stockage des ces événements en format avro/binaire
  Mise à disposition des donnes grâce à une api play
  Supervision du flux d’événements en indexant les événements capturés,transformés et/ou stockés avec Elastic Search
  Réalisation d’une IHM de supervision avec « d3 js»
  Méthodologie agile

  Apache Kafka, Apache Spark,Cassandra,Elastic Search,Play FrameWork , Scala

• Stage Big Data/ Business Intelligence

  ORANGE
  Jan 2016 - Jan 2016

  Projet:Extraction transformation et Visualisation en temps réel d’un large volume de données. Développeur Big Data dans une équipe c
  hargée de concevoir et de réaliser une architecture Big Data dont le but est de pouvoir générer des rapports et des tableaux de bords en temps réel sur des données opérationnelles d’Orange Money.
  Tâches et responsabilités :
  Evaluation de l’architecture et des briques principales le constituant
  étude et comparaison de différents outilsBig Data (Cassandra,Mongo DB,Striim .. etc)
  établissement d’un flux de donnée temps réel de la base de donnée opérationnelle (MySQL,Oracle) à la base de donnée historique (Cassandra)
  extraction des données opérationnelles pour les produiure dans un topic kafka grâce à un data extractors
  Transformation du flux de données consommé via Spark Streaming

  Apache Kafka, Apache Spark , Cassandra , Pentaho , Striim , Maxwell NEDJMA TELECOM (ALGERIE)

• Stage développeur

  NEDJMA TELECOM (ALGERIE)
  2014 - aujourd'hui

  Projet:Développement d’une IHM pour dématérialiser la gestion du planning des salariés
  Tâches et responsabilités :
  Collecte des spécifications fonctionnelles
  Diagramme UML
  Développement Java

  Eclipse, Java (EE), Design patterns, UML, MySQL