Data Engineer BIG DATA
Ref : 210210B003-
ASAP
-
75 - Paris
-
6 mois (renouvelables)
-
Consultant
-
Banque et Finance
Compétences requises
Description de la mission
Nous recherchons un Data Engineer BIG DATA pour une mission de 6 mois renouvelables sur Paris 12ème.
Besoin : Data Engineer Big Data :
- conception et développement de process sur une plateforme Hadoop (ingestion de données, transformation, calcul,..)
- Expertise sur Hadoop, Hdfs, Hive, Spark, Scala
- Connaissance de la stack HDP et CDP
- Connaissances Python, solr, Elastic search
- Connaissance Transact-SLQ
la maitrise de l' ANGLAIS est un pré-requis : niveau minimum Intermédiaire avancé (B2) ; échanges à l'oral et à l'écrit.
Contexte : INDIXIS est le datalake commercial de la BGC. Il permet de collecter (depuis les systèmes front, pour tous les produits), normaliser, enrichir les données (depuis des référentiels) et créer/générer des analyses de l’activité commerciale de Global Market au sein de la BGC à l’aide de différents outils décisionnels.
L’infocentre présente principalement 5 types de données :
- La performance commerciale : décomposée en une partie client (CC) et une partie vendeur (SC)
- Hit Ratio : Les demandes de prix électroniques, récupérées des plateformes
- La trésorerie : calculée en fonction des opérations effectuées par Global Market
- CRM : données de meeting, contacts, etc. fournies par le CRM NAT1
- CPN1 (réglementaire) : en post trade, afin de lever des alertes au Front
Par ailleurs, INDIXIS est branché a de nombreux référentiels et applications ce qui permet de fournir différents axes d’analyses de la donnée aux utilisateurs.
L'équipe INDIXIS est divisée en plusieurs Business Lines : Global Market ; CCO ; Compliance ; On Boarding;
Ces B.L. sont composées de profils Business Analyst, Developper & BI qui sont organisés en Team Agile
Les équipes sont principalement localisées à Paris (80%) et à Porto (20%).
Objectifs : Le consultant Data Engineer Big Data au sein du pôle « Data Architect & Engineer », sera en charge principalement de :
la Contribution aux différents projets hadoop :
- refonte roc : refactoring du process de collecte des des deals des systèmes front avec des étapes sur la plateforme hadoop
- projet Intégration Artémis : collecte, ingestion et traitement de la donnée sur Hadoop
- Réaliser des tests unitaires et participer aux recettes,
- Assurer des tâches de support,
- Contribuer à la Méthodologie Agile – kanban (Daily meeting, poker planning, rétrospective, ..) ,
- Contribuer à la mise en place de processus des processus devops pour le déploiement automatique des solutions
- Rédiger des documentations techniques,
- Participer au dispositif d’astreintes.
Besoin : Data Engineer Big Data :
- conception et développement de process sur une plateforme Hadoop (ingestion de données, transformation, calcul,..)
- Expertise sur Hadoop, Hdfs, Hive, Spark, Scala
- Connaissance de la stack HDP et CDP
- Connaissances Python, solr, Elastic search
- Connaissance Transact-SLQ
la maitrise de l' ANGLAIS est un pré-requis : niveau minimum Intermédiaire avancé (B2) ; échanges à l'oral et à l'écrit.
Contexte : INDIXIS est le datalake commercial de la BGC. Il permet de collecter (depuis les systèmes front, pour tous les produits), normaliser, enrichir les données (depuis des référentiels) et créer/générer des analyses de l’activité commerciale de Global Market au sein de la BGC à l’aide de différents outils décisionnels.
L’infocentre présente principalement 5 types de données :
- La performance commerciale : décomposée en une partie client (CC) et une partie vendeur (SC)
- Hit Ratio : Les demandes de prix électroniques, récupérées des plateformes
- La trésorerie : calculée en fonction des opérations effectuées par Global Market
- CRM : données de meeting, contacts, etc. fournies par le CRM NAT1
- CPN1 (réglementaire) : en post trade, afin de lever des alertes au Front
Par ailleurs, INDIXIS est branché a de nombreux référentiels et applications ce qui permet de fournir différents axes d’analyses de la donnée aux utilisateurs.
L'équipe INDIXIS est divisée en plusieurs Business Lines : Global Market ; CCO ; Compliance ; On Boarding;
Ces B.L. sont composées de profils Business Analyst, Developper & BI qui sont organisés en Team Agile
Les équipes sont principalement localisées à Paris (80%) et à Porto (20%).
Objectifs : Le consultant Data Engineer Big Data au sein du pôle « Data Architect & Engineer », sera en charge principalement de :
la Contribution aux différents projets hadoop :
- refonte roc : refactoring du process de collecte des des deals des systèmes front avec des étapes sur la plateforme hadoop
- projet Intégration Artémis : collecte, ingestion et traitement de la donnée sur Hadoop
- Réaliser des tests unitaires et participer aux recettes,
- Assurer des tâches de support,
- Contribuer à la Méthodologie Agile – kanban (Daily meeting, poker planning, rétrospective, ..) ,
- Contribuer à la mise en place de processus des processus devops pour le déploiement automatique des solutions
- Rédiger des documentations techniques,
- Participer au dispositif d’astreintes.