Abdelkader - Consultant data/cloud

Architecte Solutions Data

Tâches En mission pour dataxium en tant que consultant senior/architecte solutions data,
en charge de la conception et de l'automatisation d’un plateforme data open stack :
§ Audit complet de la stack data existante dans des environnements onpremise et cloud hybrid (Airflow, dagster, Spark, Superset, Streamlit, Trino,
Jupyter,Zeppelin).
§ Analyse des besoins et définition de l’architecture techniques
§ Automation du déploiement infra (terraform, ansible, python)
§ Implémentation de la chainé ci-cd (github, jenkins/github actions, argo cd,
registry)
§ Automatisation du déploiement applicatifs (kubernes, helm, argo cd, airflow,
python)
§ Accompagnement des projets pour la migration sur la nouvelle
infrastructure.
§ Documentation et transfert de connaissances vers les équipes de prod et
support niveau 2.

Solution architect Data

Construction d’une offre data sur kubernets (spark, apache
airflow, dagster, apache superset, streamlit, notebook zeppelin)
Industrialisation du déploiement del’offre (kubernetes, terraform,
ansible, airflow, python)
Support niveau 3 et accompagnement des projets

Architecte Solutions Cloud/big data

Tâches En mission à la Société Générale en tant que consultant senior/architecte solutions cloud, en
charge de la conception et de l'automatisation des infrastructures et produits data on
premise et cloud (azure/aws) sur plusieurs projets :
• Implémentation d’une platforme data kubernetes sur azure/aws :
Dans le cadre du programme de migration vers le cloud, j'étais en charge de concevoir et
d'automatiser une plateforme de données hybrides cloud native déployée sur :
§ kubernetes (k8s/aks, spark, airflow, trino, superset, zeppelin) (offre
standard)
Missions:
§ Définition de l’architecture technique et Intégration dans la landing zone
existante (IAM, policies, hub/spoke, dns, ssl, vnet/subnet, registry…)
§ Etude et Implémentation d’une offre azure synapse :
- sécurisation des workspace : Private links, Only My Tenant, private
storage, IAM policies
- Automatisation du déploiement de workspace synapse
- Couche de self service pour le déploiement de workspace sur azure
§ Conception d’une offre de compute kubernetes basée sur les principes
suivants (cloud native, cloud agnostic, data mesh, open source, basée sur
des services cloud managés pour le stockage et la conteneurisation)
Construction de la plateforme sur la base des composants suivants :
- couche de service : spark, opérateur spark, apache zeppelin, apache
superset, airflow
- couche de calcul : K8S, AKS, EKS
- couche de données : S3, ADLS, HDFS
- observabilité : Prométhée, Grafana, Loki, Thanos
§ Implémentation d'une solution CI/CD basée sur terraform, temporal, helm
charts, argocd, argoworkflow et Jenkins
§ Optimisation des coûts : autoscaling, ressources spot, conf tuning
§ Sécurité : identités gérées, certificats, points de terminaison privés, DNS
privés

Solution architect Data/Cloud

Construction de l'offre data sur azure (datalake adls/azure,
s3/aws et capacités de compute synapse et databricks)
Automatisation des déploiements synapse sur azure et databricks
sur aws
Construction d'une plate-forme de données cloud native sur
Kubernetes (azure, aws,cloud privé) : argo/helm, spark, airflow,
zeppelin,trino, superset...
Etude/benchmark des solutions de compute aws (emr,
containers, glue, spark over eks, databricks...)

Architect solutions big data/Cloud

Tâches Implémentation de la haute disponibilité pour HDFS, HIVE et Impala
§ Implémentation du site de secours (Reprise d'activité HDFS,Hive,
kafka).
§ Intégration de services tels que Flume, Kafka, Cloudera Navigator, Spark2
§ Mise en place de la sécurité par l'introduction :
o Authentification Kerberos sur tous les services de cluster
o Intégration LDAP et Active Directory
o Conception de l'accès des utilisateurs et de la mutualisation des
services Hadoop basés sur des groupes ldap
o Chiffrement en transit et chiffrement au repos implémentation
§ Dev/Ops : gestion de la configuration via Ansible, automatisation via airflow
• Intégration de fonctionnalités d'analyse et de science des données
§ Mise en place et intégration de jupyterhub et rstudio pour les équipes de
datascience
§ Intégration de spotfire via impala et l'accès jdbc hive
§ Etude et poc de nouvelles fonctionnalités (datawrangling - trifacta, streamsets,
apache nifi)
§ Ingestion de données via Sqoop, Flume à partir de systèmes sources :
SGBD (Oracle, Mysql, Postgres), Sources de fichiers, kafka
§ Conception de la structure de données Hive (format de fichier parquet,
tables orc/transactionnelles, partitions, compartiments et optimisation
des requêtes)

Consultant Senior Big Data/Cloud

Conception et mise en œuvre d'infrastructures Big Data
(conception de clusters, configuration, automatisation des
déploiement,,HA, chiffrement au repos, chiffrement en transit,
authentification/autorisation, tunning)
Intégration des features datasciences à la plateforme(spotfire via
hive et impala, airflow, jupyterhub, rstudio, trifacta)
Implémentation de la stack de streaming (kafka ,flume,)
Support niveau 3 aux équipes projets

Tech Lead BI/Big Data

Conception et de la mise en œuvre de l'offre de plateforme big
data pour passer de sas/datastage à Hadoop (Cloudera CDH,
spark, hdfs, hive, impala)
Expertise : définitions/validation des normes,
tunning,benchmarks et support aux équipes dev
Support niveau 3 aux équipes projets

Tech lead BI/Big Data

Tâches En tant que tech lead BI/big data, j’avais en charge de la conception et de la mise en
œuvre d'une solution capable d'ingérer jusqu'à 10 To de données par jour. J'ai
également eu la charge la migration des premiers use cases big data.
En charge également du support de niveau 3 pour les équipes de développement
et les utilisateurs métiers sur la plateforme.
RESPONSABILITES :
§ Définition de la feuille de route analytique et de l'architecture de la plateforme.
§ Déploiement et configuration cloudera CDH
§ Configuration YARN en fonction des ressources disponibles pour le cluster
§ Implémentation de la haute disponibilité HDFS et YARN
§ Développement du module d'ingestion (Shell scripting, Sqoop, Hive, Python) pour
les premiers cas d'usage
§ Intégration d'outils de visualisation de données au sein de la plateforme (qlik)
§ Développement de prototypes pour les projets SAP BO et QlikView
§ Support de niveau 3 pour les outils de reporting et d'analyse (SAP BO, QlikView)
§ Définition des normes et bonnes pratiques et animation d’un ateliers d’experts
sur les sujets BI/BIG DATA

Consultant Senior BI/ETL

Tâches Définition de la roadmap BI et de l'architecture de la plateforme.
§ Conception et mise en œuvre d'une architecture BI (SAP BO XI3.1, QlikView 9.0 SR2)
§ Mise à niveau de SAP BO V6.1 vers BO XI 3.1
§ Travail en étroite collaboration avec les utilisateurs pour recueillir les spécifications
fonctionnelles
§ Formation et accompagnement des devs
§ Accompagnement de niveau 3 des équipes métiers et animation d'ateliers d'experts
locaux

§ Automatisation du déploiement des clusters sur l’infra on premise
(physiques et cloud privé interne)
§ Automatisation de l'installation et du déploiement de CDP et Cloudera
Management Services (entièrement Kerberisé et avec TLS / SSL activé)
§ Automatisation du Cloud Privé Virtuel CDP - Kafka (Compute Cluster)
§ Implémentation de la couche de scheduling et de supervision sur
Kubernetes (airflow, Prometheus, Grafana)
§ Formation des équipes de production à l'utilisation de la nouvelle plateforme
et des nouveaux outils
§ Conception/Implémentation du site de secours (hdfs, hive, hbase et kafka)
§ Mise en place de la reprise après sinistre (outils de réplication des données
et orchestration par airflow)
§ Formation des équipes de production à l'utilisation de la nouvelle plateforme
et des nouveaux outils
§ Conception/Implémentation du site de secours (hdfs, hive, hbase et kafka)
§ Mise en place de la reprise après sinistre (outils de réplication des données
et orchestration par airflow)