CV/Mission d'Expert ibm system x freelance

Exemple de missions d'Amine,
Expert ibm system x habitant les Hauts-de-Seine (92)

Expériences professionnelles

BNP Paribas: depuis Avril 2022
Expert Big Data, DataOps
Partie Streaming
- Préparation et maintenance évolutive des clusters Kafka clients (Flink, Confluent Kafka connect)
pourle groupe BNP paris Europe.
- L’offre est mise dans des environnements On promise et Cloud IBM.
- Evolution des playbook : ansible Flink et Confluent Kafka Connect pour les clusters ITG.
Curriculum Vitae
- 3 -
- Mise en place de la sécurisation des clusters flink en double authentification via radius (en rsa):
développement des rôles playbook nginx via ansible pour l’installation automatique, mise en
place du modèle sur Tower, interaction avec gitlab CI, certis …
- Mise à jour des versions KC et FLink ainsi que les connecteurs KC (ELastic sink, IbmMq
source/sink, mongodb, Oracle ….) avec la condition At least One Semantic pour kafka.
- Tests des connecteurs et mise en place dans les clusters on premise (via des images dockers et
des vm) et dans le Cloud ibm via Kubernetes: Mongo, Elastic, debezium postgres, jdbc …
- Préparation des helm chart pour le déploiement des clusters sur Kubernetes.
- Connaissance ArgoCD: support client pour déploiement via son système ArgoCD
- Collecte des métriques via Grafana, influxdb pour la partie on promise.
- Support Niveau 3 sur les clusters: logs applicatifs via ELastic, log4j, dynatrace …
- Astreinte passive et active des clusters.
- Mise à jour des policies nimesoft/dynatrace pour le monitoring des clusters.
- Préparation des images Kube, build et déploiement sur le cloud ibm via Jenkins.
- Mise en place des services dans la marketplace Bnp , intégration avec les pipeline jenkins, Hvault
- Sécurisation des inventaires Git: split du projet existant en plusieurs modules Git, gestion des
intégrations avec AnsibleTower, gestion des habilitations et communication métiers: pour cela
un module de migration a été mis en place pour assurer la mise en production et utilisantles apis
Git
Partie Collecte / Batch
- Project collection données BDDF depuis le Edge node et ingestion dans le datalake hadoop.
Utilisation des Hql & dataframes
Build et packaging via Apache maven
Création de pipeline Jenkins pour le build , utilisation de l’artifactory, &déploiement continue
Création des jobs spark en scala pour la collecte et ingestion dans la base hive de BDDF.
Scheduling des jobs via autosys avec les ops
Maintenance et évolution , Support N3 des jobs
- Projet intégration de données depuis mainframe et intégration dans snowflake :
Préparation projet: Préparation des comptes, utilisateurs, warehouses et rôles utilisateurs
Préparation des filesformat des stages.
Création des stages pointant sur les buckets s3 et load data : différentstypes de fichiers csv , json
et parquet.
Création des tables internes, transformation et copie des données dans lestables métiers.
Performance et dimensionnement des tables: utilisation des clusters pour les tables partitionnés
par date.
Préparation des données: Gestion de l’erreurs liées au format de fichiers
Agrégation et mise à disposition des views pour les métiers.
Scheduling avec snowpipe
Mise en prod et support N3 : investigation problèmes liés au chargement des données,
historique d’exécution snowpipe, formatage de données (utilisation de timetravel pour debug)
- Mise en place de nouvelles offres de services Data : MainFrame Collector, FileCollector,
UploadFile
- Mise en place des nouvelles offres de service à base de pipeline Nifi, Api , SpringBoot, ReactJS,
ingestion dans des clusters Hadoop, sur le NAS, sur le IBM COS …
- Utilisation de la Toolkit et la registry Nifi via des buckets pour l’échange entre plateformes.
Curriculum Vitae
- 4 -
- Monitoring des pipelines avec l’offre Elastic/KIBANAvia Rest API en SSL, ingestion dans le Laas
Kafka, création et interrogation via des index patterns, Récupération via Nimsoft et
ouverture/attribution automatique d’incidents ServiceNow aux groupes métiers.
- Création de dashboards Kibana pour le monitoring.
- Support N3 sur la totalité des services DataHub.
- Project de Migration de la plateforme d’ingestion vers une nouvelle plateforme (MigrationNifi,
Migration pieplines …)

Société Générale Paris: D’Avril 2018 à Avril 2022
Pilote & TechLead de projets BigData
- Pilotage des projets techniques BigData Transverses dans le centre de compétence BigData de Société
Générale
- Projet ODAR : Spark, Scala, Pyspark, Jupiter, CTRL-M, Hive
- Projet OTXM : Spark, Scala, Hive, CTRL-M, scality (bucket S3) , echange evenements Everest, integration
chaine cicd (awx, ansible, Jenkins, …)
- Administration du cluster : Politique Ranger, Habilitation, Knox, Policies Hdfs, Hive, Webhdfs, queue yarn,
Spark UI, Ressource manager, policies Hdfs, Hive …
- Mise en place de la solution Kafka Connect dans le cluster BigData : (connecteurs utilisés: MQ Series IBM,
Salesforce, Hdfs-Sink)
-Devops : Mise en place de la chaine CICD pour les différents projets BDDF (Jenkins/Ansible Tower/Nexus/Git
...)
- Mise en place projet MDC : Apache Hive, maven, oozie, Talend for BigData ...
- Mise en place projet WFM : Kafka Connect pour Salesforce, Kafka sink Hdfs, politique rangers, Spark scala ...
- Mise en place du projet GCR : Apache Hive, maven, oozie, Talend for BigData, Api Google Maps, Splunk ...
- Projet Interconnexion des systèmes Externes au cluster BigData via la passerelle Knox : configuration knox sur
le cluster en collaboration avec les architectes, génération certificats, aide à la mise en place des différents
POC, Tests de charges, optimisation et validation des connexions pour les différents outils Datastage,
MicroStrategy, Alation, SAS ... (Traçage Hive, Knox, jobs Yarn ...)
- Projet pilotage PSC : médiations des évènements depuis MQ Séries IBM vers le cluster Kafka : Talend
Connectors, Kafka Connect, Hdfs Sink ...
- Projet cryptage GHB : assistance des développeurs pour le cryptage des données sensibles des clients à l'aide
du package PgCrypto sur PostgreSQL
- Assistance des dataSientists pour la mise en place des packages Python/R dans sur les Edges (coordination
avec les intégrateurs, DataScientists )
- Gestion des demandes d'habilitations selon les nécessités projets/Demandes utilisateurs finaux (matrice de
sécutité Hdfs, politique ranger, habilitation Queues Yarn ...)
- Mise en place d'un POC Change Data Capture (CDC Talend) pour la médiation des événements depuis des
bases relationnelles vers Kafka
- Projet Extraction MétaStore Hive pour l'outil de DataManagement ALATION : Mise en place des deux
solutions :
1-Job d'extraction Hive (en BackEnd, connexion sécurisée via Kerberos) et publication des vues associés sur
Hive
2- Configuration de Knox pour publier le WebHcatalog : Mise en place de job d'interrogation du WebHcat via
Knox

Orange: De Janvier 2015 à Mars 2018
Chef de service BI et BigData: Modélisation et mise en place Plateforme Data warehouse et Big Data
Curriculum Vitae
- 5 -
- Management d’une équipe de 5 ingénieurs.
- Collecte des nouveaux besoins métiers
- Coacher les membres de l'équipe , avancement des projets , roadmap ...
- Assister les métiers pour leurs besoins reporting et décisionnel
- Mise en place du monitoring des jobs DWH
- Participation aux workshops pour la collecte des informations métier, design de la solution
- Modélisation et implémentation du Datawarehouse Orange.
- Modélisation et implémentation du système Revenu Assurance d’Orange Tunisie.
- Assurer la qualité , intégrité, fiabilité et disponibilité des données du DWH.
- Support , maintenance évolutive de la plateforme Business Intelligence OTN.
- Conception et implémentation du modèle de données Orange Tunisie avec intégrationDWH via
des templates Talend.
- Performance & Tuning avancé des jobs de chargements journaliers.
- Responsible de la plateforme Revenue assurance et Fraud management system :
implementation des nouveaux contrôles et livraison des rapports de réconciliations pour les
équipes de finance RA ( Daily Prepaid Balance reconciliation, Roaming OUT reconciliation
(prepaid/postpaid subscribers), HUR reports, Interco ASP vs MSC reconciliation, Billable vs Billed
account reconciliation, Prepaid MSC vs CCN reconciliation, PostPaid MSC vs BSCS, HLR vs BSCS
...), Voip, Data reconciliations …
- Migration de la plateforme BI Orange Tunisie: de Talend 5.3 to 6.2 : coordinateur de projet:
mise en place workshop , management d’équipe projet , reporting projet, suivi avancement,
migration de 400 jobs vers la nouvelle plateforme, upgrading OS, repository, Talend
administration center, templates,…
- Conception et implémentation du Dashboard Revenu assurance avecQlikView : dashboard
contient des kpi journaliers résultat desréconciliations(Prepaid/ postapid, Voip, Data, Sms,
Provisioning, Roaming , High Usage Reports …)
Project BigData
- Contribution du POC effectué par l’équipe BI orange Tunisie :
- Installation et configuration de la distribution Cloudera 5.7.
- Configuring the cluster : master nodes, data nodes et edge nodes : replication level 2 , sécurité du
cluster avec Kerberos …
- Mise en place du data processing et injection de données dans Hadoop: scripts Pig pour la
transformation des données, création de tables externes hive. (Cloudera, Hive, oozie, Spark,
Kafka, Hdfs, Hbase …)
- Import de données depuisle Datawarehouse Oracle avec des jobs sqoop: Ordonnancement avec
Oozie.
- Interrogation de données via l’interface Hue , partitionnement des tables DWH et Datamarts.
- Réplication et synchronisation des données en temps réel avecOracle CDC (change Data
capture)

Ooredoo Tunisie: Juillet 2011 ~ Décembre 2014
Chef de service Revenue assurance et application réseaux
- Management d’une équipe de 3 ingénieurs.
- Collecte des nouveaux besoins métiers
- Coacher les membres de l'équipe , avancement des projets , roadmap ...
- Assister les métiers pour leurs besoins reporting et décisionnel
- Mise en ...