Ingénieur big data : Premiers experts dispos et dernières missions publiées

Exemple de missions de Trong Hieu,
Ingénieur big data habitant les Hauts-de-Seine (92)

• o Rôle : Consultant Ingénieur Big Data

  QuantHouse, Paris
  Jan 2017 - Jan 2018

  o Solution Big Data pour une procédure de vente automatique des données historiques de trading
  en provenance de différents marchés (CME, LES, CBOT, EUREX, etc.).
  o Spark/Scala avec la distribution MapR pour le pré-traitement de données, l’intégration et
  l’extraction.
  o ElasticSearch pour l’indexation et des requêtes rapides des méta-données.
  o Développement d’un démon pour des tâches récurrentes/périodiques.

  o Environnements techniques : ▪ Linux Debian, MapR, Spark, Oozie, Drill ; ▪ Scala, Shell script, Python (script).

• o Rôle : Consultant Ingénieur Big Data/Data Scientist

  Groupe Randstad France, Saint-Denis
  Jan 2016 - Jan 2017

  o Maintenance des plate-formes de développement pour les Data Scientists (Cloudera Hadoop
  distribution, JupyterHub).
  o Spark/Scala, PySpark, Hive, Impala pour le traitement, l’intégration et l’extraction de données.
  o Traitement de langage naturel et Machine Learning (Scikit-Learn,...

• CONSULTANT INGÉNIEUR BIG DATA/DATA SCIENTIST

  BNP Paribas Securities Services, Pantin.
  Jan 2016 - Jan 2018

  Equipes : Datalab & Data Technology Office.
  o Rôles : Consultant Ingénieur Big Data/Data Scientist
  o Installation et maintenance des plateformes de développement pour les data scientists et data
  ingénieurs :
  ▪ MapR versions 5 & 6.
  ▪ JupyterHub (Python), Rstudio Server (sous forme d’images Docker), Gitlab.
  ▪ Monitoring : Grafana, ElasticSearch/APM/FileBeat/Logstash/Kibana.
  ▪ Maintenance/monitoring d’un serveur Dell PowerEdge 4 GPUs Tesla V100.
  o Conception des architectures pour des produits Machine Learning/Intelligence Artificielle :
  ▪ choix de frameworks (pour le development des APIs et pour les algorithmes Machine Learning),
  ▪ choix d’algorithmes et de stratégie de traitement de données.
  o Django/Flask (Python) + Gunicorn pour les microservices Machine Learning (APIs). Déploiement
  des prototypes, MVP (Minimum Viable Products) avec Docker.
  o Développement d’une plateforme web (Django/Python, Html, Bootstrap, JQuery, base de données
  PostgreSQL) pour des compétitions data science en interne, permettant le classement.
  o Apache Drill pour des requêtes de données sur le DataHub (en collaboration avec BNP Paribas CIB,
  Paris 19e
  ).
  o Projet WAVE (E-Liquidity) : PySpark et ElasticSearch pour l’intégration, l’indexation et l’extraction
  des données de trading (transactions des assets/securities), Python Plotly avec JavaScript pour la
  visualisation des données de trading.
  o Etude sur Neo4j + Linkurious pour la navigation des bases de données graphe (Ontology, ISO
  20022).
  o Projet d’expérimentation de Scraping de web avec Selenium pour l’extraction des définitions des
  termes financières.
  o Projet Client Risk View : Optimisation des requêtes. Réduction du temps de requêtes de 1h ou plus
  à environs 20 secondes grâce au changement de technologie.
  Projet Smartchaser (en production) : prédiction des étapes à venir sur la vie d’un trade.
  ▪ Choix & entrainement des modèles machine learning avec Scikit-learn (tâche Data Science).
  ▪ Déploiement des APIs avec Django + Gunicorn (web) + Celery (exécution des tâches) + Redis
  (base de données pour stocker les modèles en mémoire) sur le Cloud ITG (IT Groupe BNP).
  o Projet Classification des e-mails (en production, en collaboration avec BNP Paribas CIB, Paris 19e
  ) :
  ▪ Modèles de classification des e-mails/documents avec le Traitement de langage naturel et
  Machine Learning (Python Scikit-learn, Pandas, Numpy, Gensim, etc.) (tâche Data Science).
  ▪ Déploiement des APIs (micro-services) avec Flask + Gunicorn sous forme des conteneurs
  Docker avec l’aide de Docker-compose sur le Cloud IV2 (BNP CIB).
  ▪ Intégration avec le serveur Microsoft Exchange pour les opérations telles que déplacer les mails,
  les mettre en différents niveaux de priorité, changer la catégorie, etc. Stockage des modèles
  Machine Learning : Bucket S3 (Python Boto3). Monitoring des APIs avec ElasticAPM, Kibana.
  o Etudes sur les applications des frameworks de Deep Learning pour la classification de texte, la
  reconnaissance d’images (Keras, Tensorflow, Pytorch).
  o Développement d’une plate-forme web d’expérimentation/démonstration de différents axes
  d’application du traitement de langage naturel : chatbot, génération de texte, résumé de texte,
  question/réponse.
  o Environnements techniques :
  ▪ Linux RedHat RHEL/Ubuntu; MapR Hadoop, Spark, Docker; API REST.
  ▪ Python (Scikit-learn, Pandas, Numpy, Gensim, etc.), Shell script, Html, Javascript.
  ▪ Apache Drill, ElasticSearch, Neo4j, Parquet, Oracle, PostgreSQL, S3 (Python Boto3).
  ▪ GitLab/BitBucket; Jenkins; Pylint (style de code) ; Elastic stack, Grafana.
  ▪ Tests unittaires (Pytest, unittest, py-cov, coverage).
  ▪ DevOps : Confluence, GitLab/BitBucket.