Karim - Architecte BIG DATA

EXPERIENCE PROFESSIONNELLE

EDF 2018 - 2021
Architecte Expert Hortonworks-Cloudera

Architecture et expertise Hortonworks-Cloudera

Gestion de plateforme HDP/HDF (Recommandation d’administration, d’usage et de suivi, assistance sur l’upgrade, préconisation des meilleures pratiques).
Gouvernance des données et qualité des données à l’aide des composants HDP et de l’intégration.
Ingestion de données dans la plate-forme de données Hortonworks existante en utilisant HDF et d’autres composants HDP (Kafka, Spark, HBase, Hive, gestion des flux,...)
Assurer l’expertise en architecture écosystème Hadoop et l’interaction avec le Cloud.
Travailler avec les équipes fonctionnelles du Client pour les meilleures pratiques de conception Big Data
Conduire et implémenter des Proof-Of-Concepts CDP.
Développement et optimisation de jobs Spark.
Accompagner les équipes de développement projets.
Challenger les solutions techniques. Revue de code, de sa qualité.
Mise en place de différents flux NiFi pour transférer des indicateurs entre Hive, Kafka et Elastic.
Accompagner l’équipe de production pour l’analyse des incidents liés aux jobs et l’amélioration des performances.

ENVIRONNEMENT: Spark, Kafka, Hadoop, HBase, YARN, HDFS, Hive, Ambari, Atlas, Ranger, Knox, Kerberos, Tez, MapReduce, Phoenix, Sqoop, NiFi, Avro, Elasticsearch, ZooKeeper, Oozie, Zeppelin, Java 8, Python, Scala, IntelliJ, Oracle, Devops, Jenkins, Nexus, Jira, confluence, Git, GitLab.

Crédit Agricole CIB (Paris, Singapour) 2017 - 2018
Big Data architect

Mise en place d’un programme de transformation Big Data au sein du cash management pour gérer la montée en puissance et en volumétrie des flux et évènements transactionnels liés au traitement des paiements.

Analyser les besoins Business en relation avec le Produit, étudier les architectures existantes.
Architecture Data (Ingestion, transformation, enrichissement, indexation, stockage, analyse et visualisation).
Présenter et argumenter des scénarios d’architecture Big Data.
Définir les orientations et les choix technologiques pour l’écosystème Hadoop en fonction des besoins.
Propositions et expérimentations pour valider les choix.
Conduire et implémenter des Proof-Of-Concepts visant à confirmer la faisabilité technique.
Assurer la conception technique du Data Lake.
Réaliser l’architecture des traitements de données autour de Spark.
Optimisation des traitements parallèles et distribués mode cluster, batch ou en temps réel (streaming).
Intégration Spark Kafka (Ingestion, collecte en temps réel, débit très important).
Ingestion de données en rapide augmentation avec des formats hétérogènes dans Hadoop et NoSQL.
Reporter régulièrement au donneur d’ordre l’avancement des travaux et les risques potentiels identifiés.
Assister le Product Owner dans la rédaction des user stories pour intégrer les spécifications techniques.
Accompagner les équipes de développement à Singapour.
Challenger les solutions techniques. Revue de code, de sa qualité et des documents techniques.
Garantir la bonne intégration du Data Lake: Ingestion via Control-M, intégration à ELK…
Fournir les approches et les designs techniques.
Etre force de proposition sur l’amélioration de la Stack Big Data, exploitation des différentes solutions.

ENVIRONNEMENT: Spark, Kafka, Hadoop, HBase, Elasticsearch, Kibana, Logstash, Solr, Lucene, Cassandra, YARN, HDFS, Hive, Ambari, MapReduce, Phoenix, HDP, HDF, Flume, Sqoop, NiFi, StreamSets, Storm, Ignite, Avro, Zookeeper, Oozie, Python, Scala, Java 8, REST, Jenkins, Spring Boot Microservices, IntelliJ, MQ, Git, Kerberos.

IFP Energies nouvelles 2015 - 2017
Big Data architect

Mise en place d’une plateforme data science dédiée à l’extraction, l’ingestion, le traitement et l’exploitation des données ainsi qu’à leur analyse via des calculs, des algorithmes et simulations scientifiques dans le cadre de la recherche et l’innovation technologique dans le domaine de l’énergie.

Refonte et amélioration de l’existant, architecture logicielle et création de solutions innovantes.
Mise en place du moteur de workflow pour optimiser algorithmes, calculs et simulations.
Amélioration de la performance des modules et des durées des traitements.
Réduire les latences des flux temps réel.

ENVIRONNEMENT: Spark, Kafka, Hadoop, Hbase, Hive, Java 8, scala, Python, REST, MySql, Oracle, Eclipse, Git, Agile.

Société Générale CIB Janvier 2011 à ce jour
Expert technique Java/J2EE/ORACLE/Tibco – Risque et P&L (Profit & Loss)

PROJET/MISSION: Développement et maintenance du système de Calcul et Monitoring du risque de contrepartie. Développement des évolutions d’une application dédiée au traitement du P&L dans le but de produire le résultat économique et distribuer le résultat officiel aux systèmes avals.

Réalisations:
• Diagnostic de la performance, profiling, tuning et optimisation de la gestion mémoire.
• Conception des extensions fonctionnelles et des améliorations techniques des applications.
• Développement, J2EE, SWING, Java Core et base de donnés relationnelles (Oracle) PL/SQL.
• Tests unitaires, tests d’intégration, tests de non régression, tests de charge.
• Intégration continue avec Hudson, packaging.
• Développement des évolutions critiques et support niveau 2.
• Revue de code des équipes à Bangalore et proposition de corrections et design de qualité.
• Diagnostic des incidents en production et proposition de solutions rapides.

ENVIRONNEMENT: Java Core, Oracle PL/SQL, J2EE, Weblogic, Tibco BusinessWorks, SWING, tomcat, Maven, webservices, Hudson, Eclipse, spring, Hibernate, IBatis, XML, Clearcase, SVN, Jira, synergy, shell, Quality Center, JSF, Scrum (Méthodologie Agile).

HSBC (Londres, New York, Paris, Hong Kong) Septembre 2009 à Janvier 2011
Technical leader eTrading plateforme – Marché de taux et dérivés
PROJET/MISSION: Développement d’une plateforme électronique de trading international. Coordination avec les différents sites géographiques (Londres, New York, Paris, Hong Kong)

Réalisations:
• Développement du référentiel selon le middleware utilisé par HUB (Tibco Rdv, MQSeries, bus ION)
• Intégration de SmartTrade (middleware externe) en tant que marché interne.
• Développement du serveur de Push des market data en temps réel vers le client.
• Orchestrer le développement des différents modules de la plateforme (streaming des prix, demande de prix, passage et exécution d’ordres, gestion des deals, post trade, référentiel).
• Développement de maquettes en Flex côté client.
• Coordination avec les équipes basées à Londres, à New York, à Paris et à Hong Kong.

ENVIRONNEMENT: Java/J2EE, Oracle, Websphere, Spring, Maven, ION, Tibco Rdv, MQSeries, Eclipse,
Linux, Flex, Flash, Scrum (Agile), RTC, kaazing, activeMQ.

Société Générale CIB Septembre 2008 à Septembre 2009
Ingénieur développement Java/J2EE/ORACLE – Dérivés sur actions et indices
PROJET/MISSION: Développement d’une application Front-Office pour le workflow de communication au sein de la salle de marché dans le but de permettre une collaboration entre sales, traders et middle.

Réalisations:
• Développement des évolutions requises par le projet.
• Contribution aux spécifications détaillées techniques et fonctionnelles.
• Tests des fonctionnalités.
• Organiser des démonstrations aux utilisateurs et aux équipes informatiques.
• Travailler en coordination avec les autres développeurs ainsi que la maîtrise d’ouvrage.
• Suivi de la production (internationale)
ENVIRONNEMENT: Java/J2EE, Oracle, Weblogic, Maven, Eclipse, Linux, Excel

CALYON UK (Londres) Septembre 2007 à Août 2008
Ingénieur développement Java/Webservices/Grid computing (DataSynapse) – Energy & commodities

PROJET/MISSION: Développement d’une application Front-Office pour le service énergie et matières premières, en travaillant avec la librairie de recherche des Quants dans le but d’intégrer les fonctions de pricing dans un système de grid computing.

Réalisations:
• Développement des services de pricing via la grille de calcul
• Multithreading pour simuler les stress scénarios (résultats récupérés en mode asynchrone).
• Développement java space en utilisant Gigaspace Cache
• Appel du Python côté recherche par l’interface JavaPy
• Développer le calcul du risque
• Développer le référentiel des données du marché qui serviront dans le pricing

ENVIRONNEMENT: Java/J2EE, DataSynapse Grid computing, Gigaspace, Spring, Design Patterns, Sophis, OpenLink, .NET, PL/SQL, Oracle, Websphere, myEclipse, WebServices, Python, Excel

BNPPARIBAS Janvier 2006 à Août 2007
Ingénieur Développement Java/J2EE/Sybase – FOREX

PROJET/MISSION: Développement et maintenance d’une application J2EE de type Front-Office pour la gestion des ordres de change (FOREX) au fil de l’eau, qui génère le reporting client du change exécuté, le netting de positions ainsi que les écritures comptables.

Réalisations:
• Automatiser le pricing et la saisie des deals dans Kondor+ (middleware externe) via MQseries
• Développement de l’interface REUTERS communiquant avec le Pricer
• Calculer les marges de la trésorerie ainsi que le bénéfice et la perte
• Couche persistance: Développement des procédures stockées
• Analyse, développement, recette, mise en production, support en relation directe avec les traders

ENVIRONNEMENT: Websphere WAS, Jboss, Sybase, TRANSACT-SQL, MDB, JMS, SWIFT, XML, SQL Advantage, QUARTZ, Unix (Solaris, hp), shell, Windows, Starteam, JavaMail, TestDirector, Log4J, Ant, JDBC, POI, Servlets, JSP, EJB, struts, javascript, Eclipse

HSBC Septembre 2004 à Décembre 2005
Ingénieur Développement Java/J2EE/Websphere
PROJET/MISSION: Développement d’une application J2EE de type Front-Office pour la gestion des crédits, du risque, la relation clientèle (suivi du dossier), la gestion du service après vente. Refonte de l’intranet de la plate-forme de support téléphonique
ENVIRONNEMENT: Websphere, WSAD, ClearCase, Oracle, Rational Rose, DisplayTag, DB2, Design Patterns

Compagnie générale de géophysique (Energie) Septembre 2003 à Août 2004
Chef de projet développeur
PROJET/MISSION: Développement, Intégration et TMA d’une application J2EE/SWING pour la prospection pétrolière. Gestion du projet, formation, support et documentation.

ENVIRONNEMENT: Java, J2EE, SWING, Tomcat, Jboss, PL/SQL, Oracle, hsqldb, javaMail, servlet, JSP, EJB, XML, Eclipse, WSAD, CVS, Together, ANT, Junit, struts, JSTL

MUTUALITE FRANCAISE Avril 2003 à Août 2003
Développeur Java/J2EE
PROJET/STAGE: Développement d’une application pour l’intégration du système d’information (applications Business Object, finance, comptabilité, communication)
ENVIRONNEMENT: Eclipse, Java, Oracle, Tomcat, ASP, VBScript, JDBC-ODBC, XML, Mysql

ALCATEL Avril 2002 à Septembre 2002
Développeur Java/J2EE/SWING
PROJET/STAGE: Développement d’une application J2EE/SWING pour la gestion des serveurs du parc informatique (supervision, sauvegarde, maintenance, statistiques connexions)
ENVIRONNEMENT: Eclipse, Jbuilder, Oracle, Applet, UML, XML, SQL server, ClearCase, Tomcat