CV/Mission de Développeur Python pandas freelance

Exemple de missions de Marc,
Développeur Python pandas habitant l'Indre-et-Loire (37)

EXPERIENCE PROFESSIONNELLE

01/01 – 07/22 Decid BI
ETL Apache Hop (top level project), python, openstreetmap,opendata, gitlab
• Développement de flux avec Hop pour normaliser des adresses (norme postale, géolocalisation)
• Installation d’Addok, un outil opensource pour faire du geocodage utilisant redis pour stocker les données en RAM. Requêtage en python et intégration dans l’ETL Hop.
• Requêtes sur openstreetmap pour rechercher les modifications de nom de rues en France.
• Installation de gitlab et utilisation pour le versionning du code.

09/19 – 12/21 Decid BI
Architecture système informatique, Sécurité, Ansible, Proxmox, serveurs physiques.
• Réalisation de graphiques avec Bokeh en python sur des données stockées dans ElasticSearch alimenté par l’ETL Hop (kettle)
• Installation serveur Proxmox (virtualisation) sur le réseau local et sur un serveur dédié (SoYouStart-OVH). Création de VMs Debian11. Mise en place de serveurs web et de reverse proxies (nginx) avec le web application firewall ModSecurity.
• Conception et mise en place d’un réseau avec plusieurs services : sauvegarde, monitoring, serveur de paquets Debian, centralisation des logs : transfert sécurisé en temp réel de fichiers,…
• Sécurisation du réseau avec des firewall,DMZ, sous-réseaux dédiés, VPN. Suivi des évènements de sécurité en temps réel avec Wazuh et elasticsearch pour les serveurs locaux et distants.
• Installation des services par des rôles Ansible.
• Création d’une salle serveurs : rédaction des spécifications des différentes composantes : climatisation, alimentation et régulation électrique, ventilation, monitoring environnemental, monitoring informatique. Recherche de fournisseurs et mise en œuvre.
05/18 – 07/19 Decid BI
Confluent plateform Kafka, Zookeeper, Debian 9, Prometheus, ESXi6.0 (6 mois)
Objectif : assurer la centralisation des logs et des métriques de plusieurs serveurs sur un cluster Kafka.
• Installation, configuration d’un cluster kafka sur 3 machines physiques et 8 machines virtuelles (dont 3 kafka, 3 zookeeper). Opérations de maintenance sur ce cluster.
• Configuration d’un serveur de logs avec Rsyslog. Envoi des logs dans un topic Kafka.
• Utilisation de Kafka Connect pour extraire les données d’une base MySQL
• Installation d’un serveur Prometheus et d’exporters pour collecter les métriques des JVM, des machines physiques, des tests de disponibilité des serveurs.
• Développement de tableaux de bord Grafana
o Projet sur l’utilisation du machine learning pour la prévision de cours de bourse. Traitement de cours collectés sur l’API IG avec les outils python pandas et scikit-learn. Analyse exploratoire, utilisation de méthodes supervisées, tests, recherche d’amélioration des performances. (3 mois)
o Projet Spark : Présentation sur le rôle de Spark dans les architectures Big Data Lambda et Kappa et focus sur le stockage des données. (2 mois)
o Projet Analyse de Données Open Data sur les communes de la Région Centre: Recueil des données opendata (avec l’ETL Kettle), redressement échantillon, réduction du nombre de variables, classification par Analyse en Composante Principale (avec le logiciel SPAD), interprétation. (1 mois)
12/16 – 04/18 Banque Dexia La Défense 16 mois
Business Objects Data Services, Oracle, BO Designer,TWS, Fermat-Ray, Enablon
Objectif : avec une équipe de 3 personnes, assurer le chargement correct et la disponibilité des datamarts risque de crédit et risques opérationnels à plus de 180 utilisateurs.
Contexte : Source des données : Fermat-Ray et Enablon. Turn-over élevé. Exigeances fortes des utilisateurs. Forte volumétrie. Documentation obsolète.
BODS : cartographie des jobs, analyse d’erreurs, développement.
Organisation et animation de la réunion hebdomadaire avec les utilisateurs.
Suivi des projets. Reverse engineering, rétro documentation.
Gestion des impacts de plusieurs incidents majeurs
Suivi de la production : organisation du processus selon ITIL. Enrichissement d’une base de connaissances
Relation (mail, video conférence, téléphone) avec le prestataire polonais hébergeur des données.
Participation au transfert de compétences vers l’équipe indienne suite à l’externalisation du service

12/13 – 03/16 Dassault Systèmes 27 mois
Business Objects Data Services, Oracle,Siebel, Neolane,Jira, Exalead, Confluence
Contexte : traitement des données de Neolane (Adobe Campaign) , de Siebel On Demand pour présenter la contribution du marketing au funnel (taux de transformation des contacts marketing en ventes).
Définition du process d’ETL. Définition de l’architecture en couches spécialisées pour faciliter la modularité, la fiabilité, la maintenabilité, l’efficacité, l’extensibilité.
Modélisation dimensionnelle.
Création code Neolane (javascript) pour extraire quotidiennement les données du cloud dans des fichiers csv ou xml.
Développement des jobs bods pour charger le datamart marketing à partir des fichiers et de tables contenant des données.
Tests des résultats.
Livraison des développements en production : utilisation du référentiel central de BODS.
Interrogation de Siebel on Demand pour rapprochements de données avec données internes.
Configuration de widgets (technologie interne) basés sur des webservices BO ou sur Exalead pour exposer les données sur l’intranet.
Participation à des projets visant à améliorer l’environnement BI : monitoring de serveurs, promotion de code, documentation, analyse du repository BODS, migration de schéma oracle…

02/13 – 06/13 Decid Bi 5 mois
Pentaho Data Integration (Kettle), Postgresql 9
Contexte : traitement des avis d’opéré sur le marché des CFD Forex et Indices pour leur comptabilisation.
Traitement de données contenues dans des mails, des fichiers csv et excel par des flux Kettle et enregistrement dans un datamart sur Posgresql.
Mise en place de Subversion (SVN) et Jenkins pour le versionning et l’intégration continue

08/11 – 10/12 Véolia 14 mois
Business Objects Data Services (BODS), Oracle , CC&B
Contexte : migration d’une application MVS vers l’ERP CC&B d’Oracle (Customer Care and Billing)
Au sein d’une équipe d’une trentaine de personnes :
• Réalisation de flux BODS
• Analyses et corrections d’anomalies.
• Scripting (python, shell, BODS) pour automatiser les étapes d’une migration partielle de la source vers la cible : enchaînement de script sql, transfert d’objets BODS d’un référentiel à un autre, lancement de jobs…successivement et indifférement sur des environnements linux et windows.
• Optimisation, restructuration de flux pour répondre aux contraintes de performances.

02/11 - 07/11 GFI (après rachat d’Ares) 5 mois
Plate-forme Pentaho et ETL open-source : Talend, Kettle
Talend: vérification de l’adéquation de l’ETL aux exigences d’un client: gestion des contextes, gestion des Blobs, configuration d’un projet, utilisation de java, monitoring des jobs… Utilisation des composants les plus courants.
Pentaho: Installation complète d’une plate-forme Pentaho CE sur linux Ubuntu server (machine virtuelle VMWare sur VMWare Server 2.0).Mise en œuvre des principaux concepts d’un datawarehouse: dimensions, faits, hiérarchies… sur une application de suivi de consommation électrique et de température (1 mois)

04/09 - 02/11 ARES – client : filiale informatique d’un groupe 22 mois
Business objects Data Services (BO Data Integrator), Universe designer, Webi, Oracle 10g
Dans un groupe de 2400 personnes du secteur du bâtiment, plusieurs sociétés, 60 agences.
Développement d’un datawarehouse pour faire des analyses par structures opérationnelles (agence …) ou fonctionnelles (réseaux), par salarié, par période pour les domaines suivants :

 Devis : gestion du portefeuille de devis. Evolution du portefeuille entre 2 dates : taux de réussite, qualification du portefeuille. Historique d’un devis.

 Salariés : historique de l’évolution d’un salarié selon son salaire, son statut, son ancienneté. Intégration des données à partir d’un annuaire interne et du progiciel de paie Arcole basé sur Oracle.

 Organisation en réseaux du groupe (matricielle): présentation des indicateurs commerciaux et budgetaires selon une hiérarchie opérationnelle ou fonctionnelle.

 Gestion de parc : reporting sur la gestion de parc véhicules, informatiques, téléphoniques et outillage. Incorporation des fichiers Orange et Total dans le datawarehouse et création d’indicateurs sur la consommation par véhicule, par personne, par agence, par société. Suivi de la réservation des biens.

Mise en place d’une organisation pour maîtriser le développement et l’administration du datawarehouse
 Rédaction de spécifications détaillées et des tests
 Analyse et modélisation en étoile des processus de gestion : dimensions historisées (SCD2), hiérarchies.
 Documentation des jobs d’intégration Data Integrator: vue d’ensemble et vue détaillée
 Documentation des états. Développement d’états intermédiaires pour auto-contrôle par les utilisateurs.
 Création et respect de procédures pour développer le datawarehouse, tester, recetter, mettre en production
 Modification et développement de la structure de la base de données du datawarehouse
 Réorganisation des univers et états existants.

10/08 – 03/09 ARES 7 mois
Avant-Vente:
 Participation à la réalisation d’offres de prix.
 Réalisation de maquettes de présentation avec BODS, BO xi3.1, Talend,

Excel 2007 :
Refonte d’une application de gestion prévisionnelle de l’occupation des collaborateurs (1500 lignes de code) :
Destinée aux responsables de service et directeurs de projets : amélioration de l’interface de saisie, fiabilisation du calcul d’indicateurs, multiplication des possibilités de tri …
Suivi des indicateurs des filiales étrangères d’une banque :
Environnement: JasperReport...