Développeur Python / AWS Cloud / FastAPI
TOTAL ENERGIES – Paris ( La Défense )
août 2023 - aujourd'hui
OBJECTIFS
Intégré au département Gas & Power Trading, j’interviens en tant que développeur Python dans un rôle transverse de support Front-to-Back, depuis les équipes de trading jusqu𠆚u back-office métier.Mon objectif principal est de centraliser, structurer et exposer les données essentielles à travers une architecture API robuste.
DOMAINES DE COMPÉTENCES – SPÉCIALITÉS
Automatisation & Traitement des flux de données
• Développement de plusieurs scripts AWS Lambda pour l’ingestion automatique de données issues de fournisseurs comme Medeco, AutoGrid, Meteologica…
• Traitement, normalisation et insertion de ces données dans MongoDB TimeSeries, avec gestion des performances de requêtage.
Développement Backend FastAPI & Tests :
● Mise en place d’une architecture API REST modulaire et sécurisée avec FastAPI, adaptée aux besoins du trading et du back-office.
● Intégration d’un système d𠆚uthentification et d𠆚utorisation via Azure AD (single & multi-tenant) avec la librairie fastapi_azure_auth
● Développement orienté performance, avec gestion complète des requêtes asynchrones (async def, httpx, motor, etc.) et logger dans S3 bucket, Graphana
● Mise en œuvre de tests unitaires et fonctionnels asynchrones avec pytest, httpx, faker, asyncio dans un environnement CI.
Déploiement & Infra & Reporting:
● Déploiement des services sur K8s via Helm Charts et Argo CD, en environnement AWS.
● Exploitation d𠆚WS S3 Buckets comme source de données pour Dremio, où les fichiers Parquet sont structurés pour optimiser les requêtes volumineuses développement de scripts Python automatisés (planifiés) via l𠆚PI Dremio afin de récupérer les jeux de données nécessaires aux reportings métiers côté business.
ENVIRONNEMENT TECHNIQUE / OUTILS
Langage de programmation : Python 3.10
Frameworks & Bibliothèques: fastapi, boto3, pyarrow, pymongo, motor, pytest
Infrastructure & DevOps: K8s, Git CI, Argo CD, AWS ECR, Artifactory JFrog, Helm Chart
Bases de données & Datalake : MongoDB, AWS S3, PostgreSQL, Dremio
Développeur Python / Dremio / BigData / K8s (Free-lance )
DPD La Poste – Paris ( Issy les moulineaux)
novembre 2021 - août 2023
OBJECTIFS
Intégré dans département DATAHUB au sein du groupe DPD, l’objectif est de déployer Dremio dans K8S avec meilleure configuration, intégrer différents flux de données dan Dremio, développer des rapports basés sur les besoins du métier, automatiser le flux de travail en travaillant avec les data scientists et managers des BUs
DOMAINES DE COMPÉTENCES – SPÉCIALITÉS
Développement Dremio / K8s :
● Participer la mise en place de Dremio, Gitlab CICD pipeline
● Configurer divers paramètres dans HelmChart afin d'avoir la meilleure performance (nombre d'exécuteur, coordinateur, cpu, volume, Distributed Storage Minio…)
● Réaliser tous les fonctions/rapports/dashboards demandés par BU et
Développement Python / QA:
● Tester que les APIs fournies par d'autres équipes / BU renvoient des données correctes
● Sérialiser et exécuter de requêtes dan Dremio en utilisant les APIs de Dremio.
● Concevoir et construire notre propre Api pour les analystes commerciaux avec FastApi
APPROCHE – RÉALISATIONS - RÉSULTATS
● Réalisation d'une fonctionnalité payante Dremio avec la version gratuite (********-api/catalog/get-catalog-id-graph/)
● Elaboration d'un workflow automatisé standard: verifier bon fonctionnement des APIs , intégrer des données incrémental, analyser des données, lancer les requêtes et mettre à jour des rapports
ENVIRONNEMENT TECHNIQUE / FONCTIONNEL – OUTILS
Langage de programmation : Python 3.9, SQL, Linux
Modules utilisés principaux: Boto3, pyArrow,requests,pytest
Structure d’infra : S3 Bucket, HelmChart, Minio, K8s, Nexus, Grafana,GitLab CI/CD
Cloud Data Lake Engine: Dremio
Outil QA / Gestion d𠆚PI : Swagger, Django DRF, Fastapi, Postman
Développeur Python / Django (Mission SSII)
BNP Paribas – Paris ( Grand Moulin Pantin)
janvier 2021 - octobre 2021
Description : Rattaché au département CIB/ITO/CLM , le but est de garantir la qualité de données du groupe pour répondre à la réglementation BCBS 239 , assurer la pertinence , cohérence, validité des données entre les systèmes référentiels différents
OBJECTIFS
Intégré dans une équipe internationale de 8 personnes (DQA), la mission consiste à extraire les données produits au sein du groupe, analyser , explorer le comportement des données à travers de la visualisation et des méthodes statistiques afin de supporter la prise de décision.
DOMAINES DE COMPÉTENCES – SPÉCIALITÉS
Développement Python / Data Analyse :
● Collecte de données , stockage, gestion de référentiels et construction des règles de contrôle
● Planifier et anticiper les besoins en terme de gestion, analyse des données pour le Global Data Office
● Créer, tester et maintenir les bases de données Sqlite3, MySQL
● Automatiser le flux de travail d’équipe
Développement Django / React :
● Concevoir les modèles et relations , les views CBV/FBV , messages, groups, permissions ...
● Utiliser les plugins tiers: django-notifications, crispy forms , datepicker ...
● Personnaliser le composant de Django : pagination, template tags, filters, logging ...
● Construire les API avec DRF (@api_view / APIView)
● Établir une interface avec React
APPROCHE – RÉALISATIONS - RÉSULTATS
● Création d’une application au service de l'équipe avec Django/React (0 à 1)
● Elaboration d’un dashboard dynamique partagé par plusieurs départements
● Transformation les formules VBA existantes en fonctionnalités python
● Automatisation de flux de travail quotidien
ENVIRONNEMENT TECHNIQUE / FONCTIONNEL – OUTILS
Langage de programmation / Framework : Python 3.6 , Django 2.2
Structure d𠆚pplication : Séparation du front et back-end
Front-end : Bootstrap4, Html5, Css, React, Material-UI, Jquery, axios.js, recharts(data viz)
Backend: Django DRF, Django
Base de données : Sqlite3 = > Mysql
Python modules : pandas, numpy, request, seaborn, xlsxwriter, pytest... etc
Package management / compiler : npm, webpack
Développeur API / Python (Mission SSII)
Axa Group Operation – Paris ( 17e, ENJOY office)
janvier 2020 - décembre 2020
Description : Gérer les règles des outils de sécurité réseau avec Qualys, détecter les vulnérabilités et développer les fonctions en python pour automatiser les processus
OBJECTIFS
Intégré dans le département AXA GO sécurité, l’objectif est d𠆚utomatiser les processus de passage des règles de sécurité, gérer les outils de détection et gestion des vulnérabilités de réseau (Qualys) afin d𠆚voir un meilleur contrôle de sécurité en place.
DOMAINES DE COMPÉTENCES – SPÉCIALITÉS
Développement API / Python :
● Développer les fonctionnalités avec Qualys API (e.g *******)
● Automatisation le processus de scan et détection de dangers de réseau avec Python
● Évolution sur les aspects vulnérable et anomalies
Analyse des données :
● Nettoyage, intégration, analyse, visualisation des données
● Programmation et validation des requêtes en data management
● Réalisation des spécifications fonctionnelle selon les besoins
APPROCHE – RÉALISATIONS - RÉSULTATS
● Réduire la charge de l’équipe dans les actions récurrentes
● Développer une application d'automatisation de workflow Django avec API Qualys
● Établir les data dashboard en utilisant Django et Highchart.js
● Prendre part à la documentation de l'application
● Assurer la veille technologique
ENVIRONNEMENT TECHNIQUE / FONCTIONNEL – OUTILS
Qualys : asset view, module vm, pc
Code editor : Jupyter Notebook , VS code
Python modules: pandas, numpy, request, seaborn ...
Front-end : JavaScript, D3.js , HighChart.js, E-chart.js, Jquery, Bootstrap4, Css
Back-end: Django,MySQL
Structure d𠆚pplication : Non séparation du front et back-end , déployé sur net interne
Data Analyst (Mission SSII)
Société Générale – Paris ( Les Dunes )
novembre 2018 - novembre 2019
Projet BCBS 239 : Contrôle de la qualité des données, nettoyage, intégration, analyse,visualisation des données , Identifier les risques potentiels en analysent les KPI importants
OBJECTIFS
Au sein du département RESGSCt du groupe Société Générale, l’objet de la prestation était le BCBS239, qui a pour le but de contrôler la qualité des données de tiers. mes tâches principales sont les suivantes:
● Détection, collecte et diffusions des anomalies avec des reportings mensuels
● Production des indicateurs de qualité des données et des tableaux de bords associés sur les résultats produits par les outils de contrôle
● Élaboration et amélioration des dashboards dynamiques de suivi mensuel
DOMAINES DE COMPÉTENCES – SPÉCIALITÉS
Développement Python :
● Automatisation des processus quotidiens
● Nettoyage, intégration, analyse des données avec Pandas / Numpy
● Calculation et surveillance des KQI, préparation de reporting mensuel
● Maintenance et amélioration les packages d’équipe python
Développement JavaScript :
● Développement des nouvelles fonctionnalités avec API sharepoint 2013
&...