CV/Mission d'Expert ibm system x freelance

Exemple de missions d'Amine,
Expert ibm system x habitant les Hauts-de-Seine (92)

• Expert Big Data, DataOps

  BNP ParibasPartie Streaming
  Jan 2022 - aujourd'hui

  - Préparation et maintenance évolutive des clusters Kafka clients (Flink, Confluent Kafka connect)
  pourle groupe BNP paris Europe.
  - L’offre est mise dans des environnements On promise et Cloud IBM.
  - Evolution des playbook : ansible Flink et Confluent Kafka Connect pour les clusters ITG.
  Curriculum Vitae
  - 3 -
  - Mise en place de la sécurisation des clusters flink en double authentification via radius (en rsa):
  développement des rôles playbook nginx via ansible pour l’installation automatique, mise en
  place du modèle sur Tower, interaction avec gitlab CI, certis …
  - Mise à jour des versions KC et FLink ainsi que les connecteurs KC (ELastic sink, IbmMq
  source/sink, mongodb, Oracle ….) avec la condition At least One Semantic pour kafka.
  - Tests des connecteurs et mise en place dans les clusters on premise (via des images dockers et
  des vm) et dans le Cloud ibm via Kubernetes: Mongo, Elastic, debezium postgres, jdbc …
  - Préparation des helm chart pour le déploiement des clusters sur Kubernetes.
  - Connaissance ArgoCD: support client pour déploiement via son système ArgoCD
  - Collecte des métriques via Grafana, influxdb pour la partie on promise.
  - Support Niveau 3 sur les clusters: logs applicatifs via ELastic, log4j, dynatrace …
  - Astreinte passive et active des clusters.
  - Mise à jour des policies nimesoft/dynatrace pour le monitoring des clusters.
  - Préparation des images Kube, build et déploiement sur le cloud ibm via Jenkins.
  - Mise en place des services dans la marketplace Bnp , intégration avec les pipeline jenkins, Hvault
  - Sécurisation des inventaires Git: split du projet existant en plusieurs modules Git, gestion des
  intégrations avec AnsibleTower, gestion des habilitations et communication métiers: pour cela
  un module de migration a été mis en place pour assurer la mise en production et utilisantles apis
  Git
  Partie Collecte / Batch
  - Project collection données BDDF depuis le Edge node et ingestion dans le datalake hadoop.
  Utilisation des Hql & dataframes
  Build et packaging via Apache maven
  Création de pipeline Jenkins pour le build , utilisation de l’artifactory, &déploiement continue
  Création des jobs spark en scala pour la collecte et ingestion dans la base hive de BDDF.
  Scheduling des jobs via autosys avec les ops
  Maintenance et évolution , Support N3 des jobs
  - Projet intégration de données depuis mainframe et intégration dans snowflake :
  Préparation projet: Préparation des comptes, utilisateurs, warehouses et rôles utilisateurs
  Préparation des filesformat des stages.
  Création des stages pointant sur les buckets s3 et load data : différentstypes de fichiers csv , json
  et parquet.
  Création des tables internes, transformation et copie des données dans lestables métiers.
  Performance et dimensionnement des tables: utilisation des clusters pour les tables partitionnés
  par date.
  Préparation des données: Gestion de l’erreurs liées au format de fichiers
  Agrégation et mise à disposition des views pour les métiers.
  Scheduling avec snowpipe
  Mise en prod et support N3 : investigation problèmes liés au chargement des données,
  historique d’exécution snowpipe, formatage de données (utilisation de timetravel pour debug)
  - Mise en place de nouvelles offres de services Data : MainFrame Collector, FileCollector,
  UploadFile
  - Mise en place des nouvelles offres de service à base de pipeline Nifi, Api , SpringBoot, ReactJS,
  ingestion dans des clusters Hadoop, sur le NAS, sur le IBM COS …
  - Utilisation de la Toolkit et la registry Nifi via des buckets pour l’échange entre plateformes.Curriculum Vitae
  - 4 -
  - Monitoring des pipelines avec l’offre Elastic/KIBANAvia Rest API en SSL, ingestion dans le Laas
  Kafka, création et interrogation via des index patterns, Récupération via Nimsoft et
  ouverture/attribution automatique d’incidents ServiceNow aux groupes métiers.
  - Création de dashboards Kibana pour le monitoring.
  - Support N3 sur la totalité des services DataHub.
  - Project de Migration de la plateforme d’ingestion vers une nouvelle plateforme (MigrationNifi,
  Migration pieplines …)

• Pilote & TechLead de projets BigDataPilote & TechLead de projets BigData

  Société Générale Paris
  Jan 2018 - Jan 2022

  - Pilotage des projets techniques BigData Transverses dans le centre de compétence BigData de Société
  Générale
  - Projet ODAR : Spark, Scala, Pyspark, Jupiter, CTRL-M, Hive
  - Projet OTXM : Spark, Scala, Hive, CTRL-M, scality (bucket S3) , echange evenements Everest, integration
  chaine cicd (awx, ansible, Jenkins, …)
  - Administration du cluster : Politique Ranger, Habilitation, Knox, Policies Hdfs, Hive, Webhdfs, queue yarn,
  Spark UI, Ressource manager, policies Hdfs, Hive …
  - Mise en place de la solution Kafka Connect dans le cluster BigData : (connecteurs utilisés: MQ Series IBM,
  Salesforce, Hdfs-Sink)
  -Devops : Mise en place de la chaine CICD pour les différents projets BDDF (Jenkins/Ansible Tower/Nexus/Git
  ...)
  - Mise en place projet MDC : Apache Hive, maven, oozie, Talend for BigData ...
  - Mise en place projet WFM : Kafka Connect pour Salesforce, Kafka sink Hdfs, politique rangers, Spark scala ...
  - Mise en place du projet GCR : Apache Hive, maven, oozie, Talend for BigData, Api Google Maps, Splunk ...
  - Projet Interconnexion des systèmes Externes au cluster BigData via la passerelle Knox : configuration knox sur
  le cluster en collaboration avec les architectes, génération certificats, aide à la mise en place des différents
  POC, Tests de charges, optimisation et validation des connexions pour les différents outils Datastage,

  MicroStrategy, Alation, SAS ... (Traçage Hive, Knox, jobs Yarn ...)

• Chef de service BI et BigData

  Orange
  Jan 2015 - Jan 2018

  Modélisation et mise en place Plateforme Data warehouse et Big Data
  Curriculum Vitae
  - 5 -
  - Management d’une équipe de 5 ingénieurs.
  - Collecte des nouveaux besoins métiers
  - Coacher les membres de l'équipe , avancement des projets , roadmap ...
  - Assister les métiers pour leurs besoins reporting et décisionnel
  - Mise en place du monitoring des jobs DWH
  - Participation aux workshops pour la collecte des informations métier, design de la solution
  - Modélisation et implémentation du Datawarehouse Orange.
  - Modélisation et implémentation du système Revenu Assurance d’Orange Tunisie.
  - Assurer la qualité , intégrité, fiabilité et disponibilité des données du DWH.
  - Support , maintenance évolutive de la plateforme Business Intelligence OTN.
  - Conception et implémentation du modèle de données Orange Tunisie avec intégrationDWH via
  des templates Talend.
  - Performance & Tuning avancé des jobs de chargements journaliers.
  - Responsible de la plateforme Revenue assurance et Fraud management system :
  implementation des nouveaux contrôles et livraison des rapports de réconciliations pour les
  équipes de finance RA ( Daily Prepaid Balance reconciliation, Roaming OUT reconciliation
  (prepaid/postpaid subscribers), HUR reports, Interco ASP vs MSC reconciliation, Billable vs Billed
  account reconciliation, Prepaid MSC vs CCN reconciliation, PostPaid MSC vs BSCS, HLR vs BSCS
  ...), Voip, Data reconciliations …
  - Migration de la plateforme BI Orange Tunisie: de Talend 5.3 to 6.2 : coordinateur de projet:
  mise en place workshop , management d’équipe projet , reporting projet, suivi avancement,
  migration de 400 jobs vers la nouvelle plateforme, upgrading OS, repository, Talend
  administration center, templates,…
  - Conception et implémentation du Dashboard Revenu assurance avecQlikView : dashboard
  contient des kpi journaliers résultat desréconciliations(Prepaid/ postapid, Voip, Data, Sms,
  Provisioning, Roaming , High Usage Reports …)
  Project BigData
  - Contribution du POC effectué par l’équipe BI orange Tunisie :
  - Installation et configuration de la distribution Cloudera 5.7.
  - Configuring the cluster : master nodes, data nodes et edge nodes : replication level 2 , sécurité du
  cluster avec Kerberos …
  - Mise en place du data processing et injection de données dans Hadoop: scripts Pig pour la
  transformation des données, création de tables externes hive. (Cloudera, Hive, oozie, Spark,
  Kafka, Hdfs, Hbase …)
  - Import de données depuisle Datawarehouse Oracle avec des jobs sqoop: Ordonnancement avec
  Oozie.
  - Interrogation de données via l’interface Hue , partitionnement des tables DWH et Datamarts.
  - Réplication et synchronisation des données en temps réel avecOracle CDC (change Data
  capture)

• Chef de service Revenue assurance et application réseaux

  Ooredoo Tunisie
  Jan 2011 - Jan 2014

  - Management d’une équipe de 3 ingénieurs.
  - Collecte des nouveaux besoins métiers
  - Coacher les membres de l'équipe , avancement des projets , roadmap ...
  - Assister les métiers pour leurs besoins reporting et décisionnel
  - Mise en ...

• aujourd'hui

  Projet pilotage PSC : médiations des évènements depuis MQ Séries IBM vers le cluster Kafka : Talend
  Connectors, Kafka Connect, Hdfs Sink ...
  - Projet cryptage GHB : assistance des développeurs pour le cryptage des données sensibles des clients à l'aide
  du package PgCrypto sur PostgreSQL
  - Assistance des dataSientists pour la mise en place des packages Python/R dans sur les Edges (coordination
  avec les intégrateurs, DataScientists )
  - Gestion des demandes d'habilitations selon les nécessités projets/Demandes utilisateurs finaux (matrice de
  sécutité Hdfs, politique ranger, habilitation Queues Yarn ...)
  - Mise en place d'un POC Change Data Capture (CDC Talend) pour la médiation des événements depuis des
  bases relationnelles vers Kafka
  - Projet Extraction MétaStore Hive pour l'outil de DataManagement ALATION : Mise en place des deux
  solutions :
  1-Job d'extraction Hive (en BackEnd, connexion sécurisée via Kerberos) et publication des vues associés sur
  Hive
  2- Configuration de Knox pour publier le WebHcatalog : Mise en place de job d'interrogation du WebHcat via
  Knox