Ingénieur big data : meilleurs experts dispos et missions récentes publiées

Déposez votre CV ou Déposez une mission gratuitement

Le métier d'ingénieur big data

Le Big data a connu, ces dernières années, un succès fulgurant. Des milliers d'entreprises y ont recours, chaque jour, pour améliorer leur prise de décisions et booster leurs performances. Pour faire face à ce besoin, de nombreux métiers se sont développés dans le secteur de la data intelligence artificielle. C'est le cas de l'ingénieur big data. Mais en quoi consiste précisément ce métier ? Quels en sont les tenants et les aboutissants ?

Le rôle du data engineer

L'ingénieur en Big data est un spécialiste du traitement de données et des statistiques. Son rôle est de collecter, d'organiser de structurer la data pour la présenter de la manière la plus simple et la plus claire possible.

La première étape est de récupérer toute la data informatique. Une fois cette action réalisée, il la transforme pour l'adapter aux besoins de son entreprise ou de ses clients. Dans un troisième temps, il peut la mettre à disposition des data scientists pour qu'ils l'analysent. Il peut également réaliser lui-même cette partie selon ses compétences et le périmètre de sa fonction.

La data ingénieur se focalise surtout sur la production et le développement des données. En ce sens, c'est un développeur big data.

Comment devient-on ingénieur data ?

Il existe plusieurs voies pour accéder à ce métier. Il est possible d'opter pour une spécialité informatique en faisant un bac+5 dans ce domaine. Le mieux est d'ailleurs de faire sa formation dans une école d'ingénierie informatique. Une alternative est d'obtenir un Master ou un doctorat en statistique.

Dans tous les cas, il est important de bien connaître et de maîtriser les fondamentaux de la data science. En ce sens, il est utile et judicieux de commencer à s'intéresser au sujet le plus tôt possible dans son parcours.

Les compétences du data engineer

L'ingénieur en Big data est surtout et avant tout un expert en informatique. Il doit avoir une solide culture digitale et se tenir au courant des dernières techniques utilisées. En outre, il faut qu'il soit à l'aise dans le maniement des bases de données. Le data ingénieur doit aussi maîtriser les principaux langages de programmation comme Python ou Java.

Il est également attendu qu'il maîtrise certains logiciels spécifiques. Enfin, le data engineer doit comprendre et parler un anglais technique propre à son domaine, connaître le monde de l'entreprise et être en capacité de communiquer, tant à l'oral qu'à l'écrit.

La journée type

La journée commence souvent par une réunion avec les équipes pour fixer le cap. Ensuite, selon le degré d'avancement du projet, l'ingénieur va travailler sur le design ou sur la mise en production des données.

Il dialogue régulièrement avec les parties prenantes du projet pour s'assurer que les besoins sont bien respectés.

Voici donc les missions et les compétences des spécialistes de la Big data intelligence. Ce métier est multiple et offre des débouchés aux jeunes ingénieurs désireux de tenter une nouvelle aventure !

Exemple de missions d'Aboubacary, ingénieur big data habitant la Gironde (33)

EXPERIENCES, STAGES et PROJETS

2015: (Janvier-Aujourd'hui ) Ingénieur Big Data pour CDISCOUNT, Equipe Big Data Neotech Solutions

Projet Data Sharing Marque Labs : Le projet Data Sharing a pour objectif de diffuser régulièrement aux fournisseurs des rapports personnalisés et /ou les données sources associées.

Pour se faire, les données sont colléctés sur la plateforme Big Data et mises à la disposition d'un outil de visualisation
et de diffusion de rapports.La solution de visualisation retenue est Qlikview et la solution de diffusion des rapports est
Nprinting, une extension de Qlikview.

 La plateforme Big Data est alimentée à partir de flux Talend et Scripts Hive et Pig(technologie Hadoop)
orchestrés par Dollar Universe sur le Serveur LDC-ETL07.

 Les informations sont restituées via des rapports Qlikview, exportés et diffusés via Nprinting au format Excel
(les rapports intégrant des graphiques) et CSV (données sources).

Projet Historisation des Prix à CDISCOUNT: Le projet Pricing à pour objectif de voir l'evolution des prix dans le
temps à CDISCOUNT et de pouvoir le comparer avec la concurrence.

 Developpement Jobs Talend pour exporter le calendrier des prix , les données workit et les données contrôle
de gestion dans la plateforme Big Data.

 Croiser ces données avec les ventes et créer une table agrégation dans Hive pour la restitution des données
( outis de restitution QlikView).

Projet Refonte EF36 : L'objectif du projet est de remplacé le module EF36 par un developpement ETL afin d'extraire 84 tables dans des Bases Oracle vers la plateforme Big Data de CDISCOUNT.

 Developpement Jobs Talend pour l'extraction de 84 tables vers la plateforme Big Data de CDISCOUNT , la facturation des produits plus de 30 kilo et l'alimentation de la DataWarhouse(DWH) de CDISCOUNT.

 Corriger des Bugs Mantis sur la Logistique.

2014: (Mars-Aout) : Stage Ingénieur Big Data : Corexpert, Lyon
 Mettre en place une nouvelle architecture de collecte, stockage et de traitement Statistique.
 Développer des Batchs de traitement Hadoop/MapReduce.
 Mise en place d'un cluster Amazon Web Service (Elastic MapReduce).
 Veille technologie en Big Data et les Bases de données NoSQL.

Voir le profil complet de ce freelance
Profils similaires parfois recherchés

Ingénieur big data HPE Vertica, Ingénieur système big data, Ingénieur développement big data

Nos dernières

offres de missions d'ingénieur big data

Les profils

d'ingénieur big data

ont aussi postulé à
Nos derniers

CV d'ingénieur big data disponibles