Ingénieur big data : Meilleurs profils dispos et nouvelles missions publiées
Le métier d'Ingénieur big data
Le Big data a connu, ces dernières années, un succès fulgurant. Des milliers d'entreprises y ont recours, chaque jour, pour améliorer leur prise de décisions et booster leurs performances. Pour faire face à ce besoin, de nombreux métiers se sont développés dans le secteur de la data intelligence artificielle. C'est le cas de l'ingénieur big data. Mais en quoi consiste précisément ce métier ? Quels en sont les tenants et les aboutissants ?
Le rôle du data engineer
L'ingénieur en Big data est un spécialiste du traitement de données et des statistiques. Son rôle est de collecter, d'organiser de structurer la data pour la présenter de la manière la plus simple et la plus claire possible.
La première étape est de récupérer toute la data informatique. Une fois cette action réalisée, il la transforme pour l'adapter aux besoins de son entreprise ou de ses clients. Dans un troisième temps, il peut la mettre à disposition des data scientists pour qu'ils l'analysent. Il peut également réaliser lui-même cette partie selon ses compétences et le périmètre de sa fonction.
La data ingénieur se focalise surtout sur la production et le développement des données. En ce sens, c'est un développeur big data.
Comment devient-on ingénieur data ?
Il existe plusieurs voies pour accéder à ce métier. Il est possible d'opter pour une spécialité informatique en faisant un bac+5 dans ce domaine. Le mieux est d'ailleurs de faire sa formation dans une école d'ingénierie informatique. Une alternative est d'obtenir un Master ou un doctorat en statistique.
Dans tous les cas, il est important de bien connaître et de maîtriser les fondamentaux de la data science. En ce sens, il est utile et judicieux de commencer à s'intéresser au sujet le plus tôt possible dans son parcours.
Les compétences du data engineer
L'ingénieur en Big data est surtout et avant tout un expert en informatique. Il doit avoir une solide culture digitale et se tenir au courant des dernières techniques utilisées. En outre, il faut qu'il soit à l'aise dans le maniement des bases de données. Le data ingénieur doit aussi maîtriser les principaux langages de programmation comme Python ou Java.
Il est également attendu qu'il maîtrise certains logiciels spécifiques. Enfin, le data engineer doit comprendre et parler un anglais technique propre à son domaine, connaître le monde de l'entreprise et être en capacité de communiquer, tant à l'oral qu'à l'écrit.
La journée type
La journée commence souvent par une réunion avec les équipes pour fixer le cap. Ensuite, selon le degré d'avancement du projet, l'ingénieur va travailler sur le design ou sur la mise en production des données.
Il dialogue régulièrement avec les parties prenantes du projet pour s'assurer que les besoins sont bien respectés.
Voici donc les missions et les compétences des spécialistes de la Big data intelligence. Ce métier est multiple et offre des débouchés aux jeunes ingénieurs désireux de tenter une nouvelle aventure !
portage salarial
Sécuritéfinancière
0 tâcheadministrative
Même protectionqu'un salarié
Exemple de missions de Radhwene,
Ingénieur big data habitant les Yvelines (78)
PARCOURS PROFESSIONNEL
PARCOURS PROFESSIONNEL
Synthèse des expériences, présentations détaillées des missions et réalisations pages suivantes
Consultant senior Data Engineering. Depuis juin 2022
Consultant senior data engineering chez Ag2r la Mondiale :
● Depuis décembre 2023 : mise en place de la plateforme data sur GCP et migration vers GCP.
● De septembre 2023 à Mars 2024 : Conformité RGPD et protection des données des clients au sein de la
plateforme CDP7.
● De juin 2022 à juillet 2023 : Migration de Cloudera Data Hub vers Cloudera Data Platform 7 (CDP).
Consultant senior Data Engineering. Octobre 2021-Mai 2022
Appui data engineering au sein de l’équipe Usine Data Analytique pour la production DSI Group EDF :
● Gestion du RUN : appui des Data Scientists de l’Usine pour les appuyer sur l’utilisation des données et des
outils du datalake au cours des use case.
● Gestion du BUILD : mettre en place les nouveaux outils, fonctionnalités permettant au Data scientistes
de travailler sur les différentes étapes de la gestion du use case : DataCleaning, outils de séries temporelles,
industrialisation... Il travaille de ce fait en étroite relation avec la DSIT, la R&D et les différentes maitrises
d’œuvre de l’entreprise.
● Utilisation d’outillage DevOps et DataOps : afin de d’améliorer le temps de mise à disposition
d’application de data science en production.
● Participation aux travaux transverses : permettant d’élargir les offres de service de l’Usine comme
l’utilisation du cloud, la mise en place des concepts de DevOps, DataOps, MLOps...
Synthèse des expériences, présentations détaillées des missions et réalisations pages suivantes
Consultant Data Engineering . depuis octobre 2021
Appui data engineering au sein de l’équipe Usine Data Analytique pour la production DSI Group EDF :
● Gestion du RUN : appui des Data Scientists de l’Usine pour les appuyer sur l’utilisation des données et des outils du datalake au cours des use case.
● Gestion du BUILD : mettre en place les nouveaux outils, fonctionnalités permettant au Data scientistes de travailler sur les différentes étapes de la gestion du use case : DataCleaning, outils de séries temporelles, industrialisation... Il travaille de ce fait en étroite relation avec la DSIT, la R&D et les différentes maitrises d’œuvre de l’entreprise.
● Utilisation d’outillage DevOps et DataOps : afin de d’améliorer le temps de mise à disposition d’application de data science en production.
● Participation aux travaux transverses : permettant d’élargir les offres de service de l’Usine comme l’utilisation du cloud, la mise en place des concepts de DevOps, DataOps, MLOps...
DATA ENGINEER - AI&DATA AVRIL 2019 -Octobre 2021
● Conception et mise en place d’un Data Mart
● Analyse des flux d'acheminement des documents au sein d'un coffre-fort numérique
● Référentiel Client Unique (RCU) : migration des procédures stockées PL/SQL vers une solution portable et générique.
● Migration d’une chaine décisionnelle de SAS vers R/sparkLyr.
INGENIEUR BIG DATA. - OOREDOO
AOUT 2017 -MARS 2019
● Validation des architectures et optimisation des applications IT.
● Mise en place d’un cluster Big Data totalement virtualisé.
● Automatisation de la chaîne delivery.
● Benchmarking des solutions big data et rédaction des documents et bonnes pratiques d’exploitation.
INGÉNIEUR BIG DATA - IT LEADERS JANVIER 2017-JUIN 2017
● Développement d’une chaîne unifiée pour le décodage des flux d'équipements Télécom et la détection des fraudeurs
EDF – DSI groupe
Depuis octobre 2020
Contexte : Au sein de l’équipe data Analytics pour la production
Interlocuteurs : Data scientistes, chef de projet, data analyste, data engineers , équipe opération , expert devOps …
Rôle : Appui Data Engineering :
● Tuning des job Spark des data scientistes.
● Conception et mise en place des architectures des chaines de traitement des données.
● Développement et mise des flux de donnée.
● Industrialisation des applications des data scientistes (conteneurisation, orchestration des routine via airflow …).
● Customisation des opérateurs Airflow.
● Environnement technique : Hortonworks Data Plateform,Oracle ,java,python,scala ,sqoop ,Hive ,Oracle ,Spark scala ,Hadoop , Linux ,Oracle , Postgresql , docker ,Apache Airflow , Jenkins ,Pyspark ,ELK ,Hbase IMA (Inter-Mutuelle Assurance) - Migration de la chaine DECISIONNELLE vers cloud Azure
JUILLET 2020-Septembre 2020
Contexte : Dans le contexte de migration de son SI vers le Cloud Public Microsoft, la DSI IMA souhaite à migrer sa chaine décisionnelle du système on premise vers les services fournis par Azure .
Interlocuteurs : Deux Architectes Techniques, chef de Projet, équipe BI
Rôle : Data Engineer
● Participation à la conception de la chaine data driven decision IMA sur...
Profils similaires parfois recherchés
Les nouvelles missions d'Ingénieur big data
Les derniers CV d'Ingénieur big data disponibles
DataOps– Administrateur/Intégrateur Big Data
- PARIS
Assistant à maîtrise d'ouvrage DECISIONNEL
- Saint Mathurin
Data Engineer | Data Analyst | Formateur
- NANTES
Consultant Cloud DevOps SRE
- Noisy Le Grand
Business Analyst Data
- CERGY
Architecte DATA / chef de projet Data
- ISSY-LES-MOULINEAUX
Développeur Python
- PARIS
Data Engineer
- FRESNES
Architecte DATA/AZURE/DATA ENGINEER
- COURBEVOIE
Developpeur Mulesoft
- Epône