CV/Mission d'Expert big data freelance

Exemple de missions de Karim,
Expert big data habitant les Yvelines (78)

Architecte Expert Big Data / Cloud: Architecture et expertise data autour de la donnée du système d&#x2019information
SFR
2021 - 2025
décisionnel de SFR.
&#x2022 Assurer l&#x2019architecture, l&#x2019administration, l&#x2019audit et les upgrades CDP ainsi que les migrations vers le cloud GCP.
&#x2022 Analyser les besoins Business en relation avec le Produit, étudier les architectures existantes.
&#x2022 Proposition d&#x2019une architecture Data en adéquation avec le besoin métier.
&#x2022 Présenter et argumenter les scénarios d&#x2019architecture Big Data et GCP.
&#x2022 Assurer l&#x2019expertise en architecture écosystème CDP et GCP.
&#x2022 Travailler avec les équipes fonctionnelles du Client pour les meilleures pratiques de conception Big Data et Cloud.
&#x2022 Conduire et implémenter des Proof-Of-Concepts.
&#x2022 Optimisation de jobs s&#x2019exécutant sur la plateforme CDP et GCP.
&#x2022 Accompagner les équipes de développement projets.
&#x2022 Suivi de production pour l&#x2019analyse des incidents liés aux jobs et l&#x2019amélioration des performances.
Sub, GKE,Kubernetes, NiFi, Elasticsearch, YARN, Grafana, Prometheus, Kerberos, Avro, ZooKeeper, Terradata,Airflow, Java, Python, Scala, IntelliJ, Devops, Jenkins, Nexus, Jira, confluence, Git, GitLab, Teradata_

Architecte Expert Big Data / Cloud: Architecture et expertise data autour de la donnée réseau mobile et fixe orange.
Orange
2021 - aujourd'hui
&#x2022 Assurer l&#x2019architecture, l&#x2019administration, l&#x2019audit, les migrations et les montées de version Cloudera.
&#x2022 Analyser les besoins Business en relation avec le Produit, étudier les architectures existantes.
&#x2022 Proposition d&#x2019une architecture Data en adéquation avec le besoin métier.
&#x2022 Présenter et argumenter les scénarios d&#x2019architecture Big Data.
&#x2022 Définir une stratégie produit entre la migration vers CDP, vers le Cloud (AWS, GCP, Azure) ou un full open source.
&#x2022 Assurer l&#x2019expertise en architecture écosystème Hadoop et l&#x2019interaction avec le Cloud.
&#x2022 Travailler avec les équipes fonctionnelles du Client pour les meilleures pratiques de conception Big Data
&#x2022 Conduire et implémenter des Proof-Of-Concepts.
&#x2022 Optimisation de jobs s&#x2019exécutant sur la plateforme.
&#x2022 Accompagner les équipes de développement projets.
&#x2022 Accompagner l&#x2019équipe de production pour l&#x2019analyse des incidents liés aux jobs et l&#x2019amélioration des performances.
_Spark, Kafka, Hadoop, GCP, CDP, HDP, CDH, NiFi, Elasticsearch, YARN, Kerberos, Avro,ZooKeeper, Oozie, Java, Python, Scala, IntelliJ, Devops, Jenkins, Nexus, Jira, confluence, Git, GitLab_

Architecte Expert Big Data Hortonworks / Cloudera: Architecture et expertise Hortonworks / Cloudera
EDF
2018 - 2021
&#x2022 Assurer l&#x2019architecture, l&#x2019administration, l&#x2019audit, les migrations et les montées de version Cloudera.
&#x2022 Assurer l&#x2019expertise en architecture écosystème Hadoop et l&#x2019interaction avec le Cloud.
&#x2022 Travailler avec les équipes fonctionnelles du Client pour les meilleures pratiques de conception Big Data
&#x2022 Conduire et implémenter des Proof-Of-Concepts CDP.
&#x2022 Développement et optimisation de jobs Spark.
&#x2022 Accompagner les équipes de développement projets.
&#x2022 Challenger les solutions techniques. Revue de code, de sa qualité.
&#x2022 Mise en place de différents flux NiFi pour transférer des indicateurs entre Hive, Kafka et Elastic.
&#x2022 Accompagner l&#x2019équipe de production pour l&#x2019analyse des incidents liés aux jobs et l&#x2019amélioration des performances.
&#x2022 Gestion de plateforme HDP/HDF (Recommandation d&#x2019administration, d&#x2019usage et de suivi, assistance sur l&#x2019upgrade,
préconisation des meilleures pratiques).
&#x2022 Gouvernance des données et qualité des données à l&#x2019aide des composants HDP et de l&#x2019intégration.
&#x2022 Ingestion de données dans la plate-forme de données Hortonworks existante en utilisant HDF et d&#x2019autres
composants HDP (Kafka, Spark, HBase, Hive, gestion des flux,...)
_Spark, Kafka, Hadoop, HBase, YARN, HDFS, Hive, Ambari, Atlas, Ranger, Knox, Kerberos,Tez, MapReduce, Phoenix, Sqoop, NiFi, Avro, Elasticsearch, ZooKeeper, Oozie, Zeppelin, Java 8, Python,Scala, IntelliJ, Oracle, Devops, Jenkins, Nexus, Jira, confluence, Git, GitLab_

Big Data architect
Crédit Agricole CIB (Paris, Singapour)
2017 - 2018
Mise en place d&#x2019un programme de transformation Big Data au sein du cash management pour
gérer la montée en puissance et en volumétrie des flux et évènements transactionnels liés au traitement des
paiements.
&#x2022 Analyser les besoins Business en relation avec le Produit, étudier les architectures existantes.
&#x2022 Architecture Data (Ingestion, transformation, enrichissement, indexation, stockage, analyse et visualisation).
&#x2022 Présenter et argumenter des scénarios d&#x2019architecture Big Data.
&#x2022 Définir les orientations et les choix technologiques pour l&#x2019écosystème Hadoop en fonction des besoins.
&#x2022 Propositions et expérimentations pour valider les choix.
&#x2022 Conduire et implémenter des Proof-Of-Concepts visant à confirmer la faisabilité technique.
&#x2022 Assurer la conception technique du Data Lake.
&#x2022 Réaliser l&#x2019architecture des traitements de données autour de Spark.
&#x2022 Optimisation des traitements parallèles et distribués mode cluster, batch ou en temps réel (streaming).
&#x2022 Intégration Spark Kafka (Ingestion, collecte en temps réel, débit très important).
&#x2022 Ingestion de données en rapide augmentation avec des formats hétérogènes dans Hadoop et NoSQL.
&#x2022 Reporter régulièrement au donneur d&#x2019ordre l&#x2019avancement des travaux et les risques potentiels identifiés.
&#x2022 Assister le Product Owner dans la rédaction des user stories pour intégrer les spécifications techniques.
&#x2022 Accompagner les équipes de développement à Singapour.
&#x2022 Challenger les solutions techniques. Revue de code, de sa qualité et des documents techniques.
&#x2022 Garantir la bonne intégration du Data Lake: Ingestion via Control-M, intégration à ELK&#x2026
&#x2022 Fournir les approches et les designs techniques.
&#x2022 Etre force de proposition sur l&#x2019amélioration de la Stack Big Data, exploitation des différentes solutions.
_Spark, Kafka, Hadoop, HBase, Elasticsearch, Kibana, Logstash, Solr, Lucene, Cassandra, YARN, HDFS,Hive, Ambari, MapReduce, Phoenix, HDP, HDF, Flume, Sqoop, NiFi, StreamSets, Storm, Ignite, Avro, Zookeeper, Oozie,Python, Scala, Java 8, REST, Jenkins, Spring Boot Microservices, IntelliJ, MQ, Git, Kerberos_

Big Data architect
IFP Energies nouvelles
2015 - 2017
Mise en place d&#x2019une plateforme data science dédiée à l&#x2019extraction, l&#x2019ingestion, le traitement et
l&#x2019exploitation des données ainsi qu&#x2019à leur analyse via des calculs, des algorithmes et simulations scientifiques dans le
cadre de la recherche et l&#x2019innovation technologique dans le domaine de l&#x2019énergie.
&#x2022 Refonte et amélioration de l&#x2019existant, architecture logicielle et création de solutions innovantes.
&#x2022 Mise en place du moteur de workflow pour optimiser algorithmes, calculs et simulations.
&#x2022 Amélioration de la performance des modules et des durées des traitements.
&#x2022 Réduire les latences des flux temps réel.
_Spark, Kafka, Hadoop, Hbase, Hive, Java 8, scala, Python, REST, MySql, Oracle, Eclipse, Git, Agile_

Data solutions architect
Société Générale CIB
2011 - 2015
Mise en place d&#x2019un système de calcul du risque dédié au traitement et l&#x2019exploitation des
données économiques.
&#x2022 Architecture logicielle des extensions fonctionnelles et des améliorations techniques des applications.
&#x2022 Améliorer les temps des traitements des données gérées par le batch processing.
&#x2022 Diagnostic de la performance, profiling, tuning et optimisation de la gestion mémoire.
&#x2022 Revue de code des équipes à Bangalore et proposition de corrections et design de qualité.
&#x2022 Diagnostic des incidents en production et proposition de solutions rapides.
_Java, SQL, webservices, Oracle, Weblogic, Tibco, Hudson, Eclipse, Spring, Jira, Scrum_

HSBC (Londres, New York, Paris, Hong Kong)
2009 - 2011
Data solutions architect: Mise en place d&#x2019une plateforme électronique de trading international. Coordination avec
les différents sites géographiques (Londres, New York, Paris, Hong Kong)
&#x2022 Mise en place du référentiel Data selon le middleware utilisé par HUB
&#x2022 Mise en place du moteur intelligent de flux interne.
&#x2022 Mise en place du système d&#x2019alimentation des données du marché en temps réel.
&#x2022 Architecture logicielle des différents modules de la plateforme.
&#x2022 Optimiser le streaming des prix en temps réel et accélérer le traitement et l&#x2019exécution des ordres.
&#x2022 Coordination avec les équipes basées à Londres, à New York, à Paris et à Hong Kong.
_Java, SQL, Oracle, Websphere, Spring, Maven, Tibco Rdv, MQ, Eclipse, Scrum (Agile), ActiveMQ_

Société Générale CIB
2008 - 2009
Data engineer: Développement d&#x2019un moteur de workflow de communication au sein de la salle de marché (Dérivés
sur actions et indices) dans le but de permettre une collaboration entre vendeurs, traders et middle.
&#x2022 Développement des évolutions requises par le projet. Tests des fonctionnalités.
&#x2022 Contribution aux spécifications détaillées techniques et fonctionnelles.
&#x2022 Organiser des démonstrations aux utilisateurs et aux équipes informatiques.
&#x2022 Suivi de la production (internationale). Travailler en coordination avec les différents acteurs de la salle de marché.
_J...