CV/Mission d'Expert Cloudera freelance

Exemple de missions de Karim,
Expert Cloudera habitant les Hauts-de-Seine (92)

• Audit infrastructure et applications Big Data Paris

  Jan 2023 - aujourd'hui

  Réalisation d'un audit détaillé de la plateforme Cloudera CDP 7.1.7
  Auditing Impala via Workload Manager WXM
  Documentation des bests practices Impala
  Tuning d'integration Tableau et Impala

• Audit et Stabilisation de performances applicatives Paris

  Jan 2023 - aujourd'hui

  Audit approfondi de la stack CDP
  Diagnostic de problèmes de petits fichiers générés par les ETL Spark
  Documentation des bests practices de développement Spark
  Configuration et Tuning de l'intégration Dataiku et CDP

• Référent et Expert Cloudera Paris

  Jan 2022 - aujourd'hui

  Architecture réseau et physique de clusters Hadoop compatibles DR
  Élaboration du plan de Migration d'applications de HDP2.6 vers CDP7.1.7
  Automatisation de la réplication de tables Hive ACID et Policies Ranger

• Développement d'une application streaming Villejuif

  Jan 2022 - Jan 2022

  Ingestion de données open banking en spark streaming dans HBase
  Utilisation de MRIT (MapReduce Indexer) pour l'indexation batch dans Solr
  Utilisation de HBase Lily Indexer pour l'indexation "Near Real Time" dans Solr
  Réplication de données intra cluster HBase pour les besoin de PRA

• Architecte permanent / Expertise Cloudera SQY

  Jan 2020 - aujourd'hui

  Automatisation d’installation de CDP sur une infrastructure virtuelle OpenStack
  Mise en place d'Hadoop Virtualization Extensions (HVE)
  Mise en place de l’architecture d’un geo-cluster multi DCs (Stretch Cluster)
  Elaboration et conduction d’une batterie de tests PSI: failover et failback
  Elaboration et réalisation des Tests d'intrusion
  Accompagnement de migration de projets de HDP/CDH vers CDP
  Elaboration de la politique de "Security Patch Management"
  Supervision infrastructure et applicative via SensuGo

• Migration CDH5 vers CDP7 Paris

  Jan 2020 - aujourd'hui

  Étude des différents scénarios de migration en termes d’impacts et chiffrage :
  side-car vs in-place
  Élaboration d’un planning détaillé de migration de 5 environnements PROD et
  Hors PROD
  Automatisation via Ansible des étapes d’upgrades : pre-upgrade tasks, backups,
  upgrade de CM et upgrade de parcels

• Architecte permanent / Expertise Cloudera Nanterre

  Jan 2020 - Jan 2022

  Développement d’un outil de réplication de données Hive/HBase/HDFS.
  Développement des extracteurs de métriques Big Data vers Elastic Search.
  Développement des Dashboards de monitoring sous Grafana/Kibana.
  Mise en place d’algorithme de détection d’anomalies infrastructures et
  applicatives.
  Participation et revue des architectures applicatives des commanditaires.
  Développement d’outillage pour externaliser les Snapshots HBase sur S3

• Migration HDP2 vers CDP7 Paris

  Jan 2020 - Jan 2020

  Installation et sécurisation de la plateforme CDP-DC 7.1.3
  Intégration à la plateforme OpenShift Redhat.
  Migration des données de HDP2 vers CDP-DC.
  Tutoriel sur les nouveaux composants CDP Private Cloud (Kudu, Impala, CM

• Référent et Teach lead Big Data Arcueil

  Jan 2019 - Jan 2020

  Automatisation d’installation de plateformes HDP3.
  Automatisation des tests de validation (health check)
  Migrations de données de HDP2 vers HDP3 (HDFS/Hive/HBase).
  Formation Big Data aux projets (spark2, NiFi, HBase, Hive).
  Rédaction du DAT d’un projet GED sur le Datalake.

• Sr Solutions Architect Paris

  Jan 2019 - aujourd'hui

  Concevoir des architectures data en utilisant les solutions Cloudera
  Expertise techniques sur les produits Cloudera: CDP Public Cloud et Private Cloud
  Déploiement de CDP sur AWS, Azure, GCP et OpenShift
  Audit et "Health Check" de clusters big data
  Elaboration de stratégie de sauvegarde et de reprise d'activités
  Sécurisation des plateformes CDP: kerberos, TLS, Encryption, authorisation