CV/Mission d'Expert big data freelance

Exemple de missions de Karim,
Expert big data habitant les Yvelines (78)

Architecte Expert Big Data / Cloud: Architecture et expertise data autour de la donnée du système d’information
SFR
2021 - 2025
décisionnel de SFR.
• Assurer l𠆚rchitecture, l�ministration, l𠆚udit et les upgrades CDP ainsi que les migrations vers le cloud GCP.
• Analyser les besoins Business en relation avec le Produit, étudier les architectures existantes.
• Proposition d’une architecture Data en adéquation avec le besoin métier.
• Présenter et argumenter les scénarios d𠆚rchitecture Big Data et GCP.
• Assurer l𠆞xpertise en architecture écosystème CDP et GCP.
• Travailler avec les équipes fonctionnelles du Client pour les meilleures pratiques de conception Big Data et Cloud.
• Conduire et implémenter des Proof-Of-Concepts.
• Optimisation de jobs s𠆞xécutant sur la plateforme CDP et GCP.
• Accompagner les équipes de développement projets.
• Suivi de production pour l𠆚nalyse des incidents liés aux jobs et l𠆚mélioration des performances.
Sub, GKE,Kubernetes, NiFi, Elasticsearch, YARN, Grafana, Prometheus, Kerberos, Avro, ZooKeeper, Terradata,Airflow, Java, Python, Scala, IntelliJ, Devops, Jenkins, Nexus, Jira, confluence, Git, GitLab, Teradata_

Architecte Expert Big Data / Cloud: Architecture et expertise data autour de la donnée réseau mobile et fixe orange.
Orange
2021 - aujourd'hui
• Assurer l𠆚rchitecture, l�ministration, l𠆚udit, les migrations et les montées de version Cloudera.
• Analyser les besoins Business en relation avec le Produit, étudier les architectures existantes.
• Proposition d’une architecture Data en adéquation avec le besoin métier.
• Présenter et argumenter les scénarios d𠆚rchitecture Big Data.
• Définir une stratégie produit entre la migration vers CDP, vers le Cloud (AWS, GCP, Azure) ou un full open source.
• Assurer l𠆞xpertise en architecture écosystème Hadoop et l’interaction avec le Cloud.
• Travailler avec les équipes fonctionnelles du Client pour les meilleures pratiques de conception Big Data
• Conduire et implémenter des Proof-Of-Concepts.
• Optimisation de jobs s𠆞xécutant sur la plateforme.
• Accompagner les équipes de développement projets.
• Accompagner l’équipe de production pour l𠆚nalyse des incidents liés aux jobs et l𠆚mélioration des performances.
_Spark, Kafka, Hadoop, GCP, CDP, HDP, CDH, NiFi, Elasticsearch, YARN, Kerberos, Avro,ZooKeeper, Oozie, Java, Python, Scala, IntelliJ, Devops, Jenkins, Nexus, Jira, confluence, Git, GitLab_

Architecte Expert Big Data Hortonworks / Cloudera: Architecture et expertise Hortonworks / Cloudera
EDF
2018 - 2021
• Assurer l𠆚rchitecture, l�ministration, l𠆚udit, les migrations et les montées de version Cloudera.
• Assurer l𠆞xpertise en architecture écosystème Hadoop et l’interaction avec le Cloud.
• Travailler avec les équipes fonctionnelles du Client pour les meilleures pratiques de conception Big Data
• Conduire et implémenter des Proof-Of-Concepts CDP.
• Développement et optimisation de jobs Spark.
• Accompagner les équipes de développement projets.
• Challenger les solutions techniques. Revue de code, de sa qualité.
• Mise en place de différents flux NiFi pour transférer des indicateurs entre Hive, Kafka et Elastic.
• Accompagner l’équipe de production pour l𠆚nalyse des incidents liés aux jobs et l𠆚mélioration des performances.
• Gestion de plateforme HDP/HDF (Recommandation d�ministration, d’usage et de suivi, assistance sur l’upgrade,
préconisation des meilleures pratiques).
• Gouvernance des données et qualité des données à l𠆚ide des composants HDP et de l’intégration.
• Ingestion de données dans la plate-forme de données Hortonworks existante en utilisant HDF et d𠆚utres
composants HDP (Kafka, Spark, HBase, Hive, gestion des flux,...)
_Spark, Kafka, Hadoop, HBase, YARN, HDFS, Hive, Ambari, Atlas, Ranger, Knox, Kerberos,Tez, MapReduce, Phoenix, Sqoop, NiFi, Avro, Elasticsearch, ZooKeeper, Oozie, Zeppelin, Java 8, Python,Scala, IntelliJ, Oracle, Devops, Jenkins, Nexus, Jira, confluence, Git, GitLab_

Big Data architect
Crédit Agricole CIB (Paris, Singapour)
2017 - 2018
Mise en place d’un programme de transformation Big Data au sein du cash management pour
gérer la montée en puissance et en volumétrie des flux et évènements transactionnels liés au traitement des
paiements.
• Analyser les besoins Business en relation avec le Produit, étudier les architectures existantes.
• Architecture Data (Ingestion, transformation, enrichissement, indexation, stockage, analyse et visualisation).
• Présenter et argumenter des scénarios d𠆚rchitecture Big Data.
• Définir les orientations et les choix technologiques pour l’écosystème Hadoop en fonction des besoins.
• Propositions et expérimentations pour valider les choix.
• Conduire et implémenter des Proof-Of-Concepts visant à confirmer la faisabilité technique.
• Assurer la conception technique du Data Lake.
• Réaliser l𠆚rchitecture des traitements de données autour de Spark.
• Optimisation des traitements parallèles et distribués mode cluster, batch ou en temps réel (streaming).
• Intégration Spark Kafka (Ingestion, collecte en temps réel, débit très important).
• Ingestion de données en rapide augmentation avec des formats hétérogènes dans Hadoop et NoSQL.
• Reporter régulièrement au donneur d’ordre l𠆚vancement des travaux et les risques potentiels identifiés.
• Assister le Product Owner dans la rédaction des user stories pour intégrer les spécifications techniques.
• Accompagner les équipes de développement à Singapour.
• Challenger les solutions techniques. Revue de code, de sa qualité et des documents techniques.
• Garantir la bonne intégration du Data Lake: Ingestion via Control-M, intégration à ELK…
• Fournir les approches et les designs techniques.
• Etre force de proposition sur l𠆚mélioration de la Stack Big Data, exploitation des différentes solutions.
_Spark, Kafka, Hadoop, HBase, Elasticsearch, Kibana, Logstash, Solr, Lucene, Cassandra, YARN, HDFS,Hive, Ambari, MapReduce, Phoenix, HDP, HDF, Flume, Sqoop, NiFi, StreamSets, Storm, Ignite, Avro, Zookeeper, Oozie,Python, Scala, Java 8, REST, Jenkins, Spring Boot Microservices, IntelliJ, MQ, Git, Kerberos_

Big Data architect
IFP Energies nouvelles
2015 - 2017
Mise en place d’une plateforme data science dédiée à l𠆞xtraction, l’ingestion, le traitement et
l𠆞xploitation des données ainsi qu’à leur analyse via des calculs, des algorithmes et simulations scientifiques dans le
cadre de la recherche et l’innovation technologique dans le domaine de l’énergie.
• Refonte et amélioration de l𠆞xistant, architecture logicielle et création de solutions innovantes.
• Mise en place du moteur de workflow pour optimiser algorithmes, calculs et simulations.
• Amélioration de la performance des modules et des durées des traitements.
• Réduire les latences des flux temps réel.
_Spark, Kafka, Hadoop, Hbase, Hive, Java 8, scala, Python, REST, MySql, Oracle, Eclipse, Git, Agile_

Data solutions architect
Société Générale CIB
2011 - 2015
Mise en place d’un système de calcul du risque dédié au traitement et l𠆞xploitation des
données économiques.
• Architecture logicielle des extensions fonctionnelles et des améliorations techniques des applications.
• Améliorer les temps des traitements des données gérées par le batch processing.
• Diagnostic de la performance, profiling, tuning et optimisation de la gestion mémoire.
• Revue de code des équipes à Bangalore et proposition de corrections et design de qualité.
• Diagnostic des incidents en production et proposition de solutions rapides.
_Java, SQL, webservices, Oracle, Weblogic, Tibco, Hudson, Eclipse, Spring, Jira, Scrum_

HSBC (Londres, New York, Paris, Hong Kong)
2009 - 2011
Data solutions architect: Mise en place d’une plateforme électronique de trading international. Coordination avec
les différents sites géographiques (Londres, New York, Paris, Hong Kong)
• Mise en place du référentiel Data selon le middleware utilisé par HUB
• Mise en place du moteur intelligent de flux interne.
• Mise en place du système d𠆚limentation des données du marché en temps réel.
• Architecture logicielle des différents modules de la plateforme.
• Optimiser le streaming des prix en temps réel et accélérer le traitement et l𠆞xécution des ordres.
• Coordination avec les équipes basées à Londres, à New York, à Paris et à Hong Kong.
_Java, SQL, Oracle, Websphere, Spring, Maven, Tibco Rdv, MQ, Eclipse, Scrum (Agile), ActiveMQ_

Société Générale CIB
2008 - 2009
Data engineer: Développement d’un moteur de workflow de communication au sein de la salle de marché (Dérivés
sur actions et indices) dans le but de permettre une collaboration entre vendeurs, traders et middle.
• Développement des évolutions requises par le projet. Tests des fonctionnalités.
• Contribution aux spécifications détaillées techniques et fonctionnelles.
• Organiser des démonstrations aux utilisateurs et aux équipes informatiques.
• Suivi de la production (internationale). Travailler en coordination avec les différents acteurs de la salle de marché.
_J...