Le Big Data est aujourd’hui essentiel aux sociétés dans divers secteurs. Servant à la prise de décision éclairée, cette science identifie les opportunités de croissance, détecte les risques pour les anticiper, optimise les processus internes et minimise les coûts.
Le développeur big data est alors au cœur des enjeux majeurs de l’entreprise. Il code et développe des logiciels sur mesure pour collecter, traiter et analyser de gros volumes de données. Sa mission est d’exploiter les informations récoltées, selon les besoins de la structure.
Virtuose de l’informatique, cet expert doit avoir le sens de la communication et l’esprit d’analyse. Il est tenu de maîtriser divers outils techniques et faire preuve de logique.
Freelance Informatique vous propose une fiche métier détaillée pour découvrir la profession de développeur big data, ses compétences, ses fonctions et la formation à suivre. Trouvez votre professionnel en quelques clics !
Le développeur big data est un concepteur, il est également appelé ingénieur big data ou ingénieur des données.
Parmi toutes les données collectées par l’entreprise, l’ingénieur big data explore celles qui sont les plus pertinentes à utiliser. Le service marketing, par exemple, se base sur ce travail pour établir ses stratégies de communication et mener ses campagnes publicitaires.
L’ingénieur big data doit avoir une vision globale de l’entreprise pour développer sa solution. Il doit :
Ses interventions concernent aussi bien le développement initial d’un logiciel de collecte et de traitement de données, que l’audit d’un système existant afin de l’optimiser.
Pour valoriser de grands volumes de données, l’ingénieur big data doit coder un logiciel sur mesure et faire émerger les indicateurs clés dont a besoin l’entreprise. Il s’occupe aussi du développement de programmes d’extraction de données, mettant ainsi en place l’architecture big data de la structure.
Ce professionnel de la data se charge d’intégrer les algorithmes aux processus internes de la société. Il classe les informations selon un cahier des charges et des objectifs définis et garantit également le respect de la réglementation RGPD (Règlement Général sur la Protection des Données).
Il teste et corrige les anomalies et éventuelles erreurs. Il doit veiller à la cohérence des résultats et assurer un suivi proactif. On lui demandera aussi de rédiger des rapports et d’expliquer ses solutions aux responsables de services.
Ingénieur de données est un poste technique qui requiert la connaissance de divers outils :
Le développeur big data doit aussi maîtriser l’anglais pour assurer la veille technologique.
L’ingénieur de données utilise les principales technologies du Big Data. En plus des logiciels, langages et outils cités plus haut, il doit avoir une expertise en mathématiques et en statistiques. Internet ne doit avoir aucun secret pour lui !
Le développeur big data collabore avec différentes équipes au sein de l’entreprise. On lui demande alors d’être :
Les ingénieurs de bases de données sont diplômés d'un Bac + 3 ou d’un Bac + 5 et certains ont obtenu un doctorat. Différentes écoles d’ingénieur, universités et IUT proposent des MSC, Master ou MBA spécialisés dans le Big Data.
Des formations continues existent pour une reconversion en développeur big data. Elles permettent de monter en compétences ou de changer de métier.
Le salaire annuel moyen d’un développeur big data débutant est de 35 000 € à 40 000 €. Après quelques années d’expérience, il peut atteindre les 60 000 €. Cela est très variable en fonction des régions et de la taille de l’entreprise. En région parisienne, par exemple, les ingénieurs de données peuvent gagner jusqu’à 80 000 € par an.
Le Big Data devient de plus en plus important dans tous les secteurs socio-économiques. Le choix de la structure est très large pour un ingénieur de données. Ses compétences sont très demandées dans divers domaines :
L’ingénieur de données fait partie de la grande famille des métiers du Big Data dont on peut citer :
Certaines missions de ces professionnels de la Big Data peuvent être similaires. Ceux-ci peuvent aussi collaborer pour atteindre les objectifs d’une seule entreprise ou avoir des positions différentes au sein de la même hiérarchie.
Après quelques années d’expérience, l’ingénieur big data peut évoluer vers des postes impliquant plus de responsabilités. Il peut devenir directeur des systèmes d’information ou directeur des opérations.
Oui, ce métier convient très bien au travail en freelance. Un développeur big data indépendant est très mobile et peut diversifier sa clientèle.
Contexte : MI2B : est un Data-Lake dédié à l’analyse et la mise à disposition des données,métier De la Société Générale.
Conception et spécification technique
Développement
Analyse
Développement, correction et évolution des flux SPARK, Scala
Mise en place de SGMonitoring (monitoring des Jobs et de l’environnement)
Ajout et adaptation des Jobs à OOZIE
Contexte : ONEDATA : est un Data-Lake dédié à l’analyse et la mise à disposition des données métier LOUIS-VUITTON.
Conception et spécification technique
Développement
Analyse
Développement, correction et évolution des flux SPARK, Scala
Evolution et développement des webServices SCALA
Assurer le fonctionnement de la partie RUN (Monitoring des flux)
Contexte : DLK : est un Data-Lake dédié à l’analyse et la mise à disposition des données métier ENEDIS.
Conception et spécification technique
Développement
Analyse
Développement et correction des flux SPARK et SPARKSTREAMING
Evolution des fluxs SPRINGBOOT
Contexte : SOCLE : est un SI décisionnel dédié à l’analyse des données des clients (marché
de masse) EDF pour les fidéliser. Ces données sont ensuite exploitées par l’entité commerce
d’EDF.
Conception et spécification technique
Développement
Analyse
Correction et évolution des traitements Hadoop
Contexte : L’objectif est la mise en place d’un cluster AWS constitué de huit machines avec une préparation et une installation de la distribution CLOUDERA, ainsi que tous les outils « Hive, Impala, Zookeeper, Oozie… » et test de leurs fonctionnalités.
Création des VMs AWS et installation du CentOS
Préparation de l’OS pour l’installation d’Hadoop :
o Configuration des VMs.
o Installation de MySQL.
o Créations des bases de données.
Installation de Cloudera Manager « Server et agents »
Installation de Cloudera CDH.
Ajout et test des services « Sentry, HDFS, HBase, YARN, Spark, Sqoop, Hive, Impala,
Flume, Hue, Oozie, Zookeeper »
Activation de HDFS et YARN RessourceManager HA.
Mise en place des platforme Web « Hue »
Data management RH : analyse et reconnaissance des émotions en temps réel
Durée de la mission : suspendu.
Contexte : L’objectif est de créer à Umanis une solution de Data Science permettant de faire des analyses sur les personnes en entretien « Vidéo », Connaitre leurs émotions et envoyé un rapport d’émotions au RH.
Développement d’une application de reconnaissance d’émotions.
Utilisation des modèles machine learning afin d’établir l’analyse émotionnelle.
Utilisation d’akka stream ou spark streaming pour gérer les flux et les traitements.
o Développement d'une balise BLE " Microcontrôleur Nordic" en temps réel
(RTOS) en C/C++.
o Développement d'une application mobile pour la gestion de la balise
« Android » (JAVA & Android SDK).
o Utilisation du langage, JAVA sous Eclipse, pour le développement de l’application.
o Découverte et utilisation des APIs « web service de type REST ».
o Utilisation d'une Base de données (d’image, de fichier audio et texte) pour l’évaluation des modèles Machine Learning inclus dans les APIs.
o Récolte des résultats obtenues par les APIs en utilisant JAVA avec le test et la validation des résultats « Application des méthodes de la Data Science ».
o Développement d'un modèle de Machine Learning (Réseau de neurones) pour fusionner et améliorer le résultat.
o Programmation d'un algorithme statique de reconnaissance faciale avec JAVA en utilisant une Web Cam.
o Envoie de données vers un autre microcontrôleur via câble USB