Freelance Logstash : Nos nouveaux consultants enregistrés

Exemple d'expériences d'Oussama,
freelance LOGSTASH résidant dans le Val-d'Oise (95)

Expérience professionnelle

Crédit agricole group infrastructure platform : Devops bservability
(03/2024 - actuellement).
En tant qu’ingénieur DevOps spécialisé en observabilité, je veille à l’adoption et à
l’usage efficace des outils d’observabilité (Elk, grafana, dynatrace) par les équipes
d’exploitation (Ops) et les maîtrises d’œuvre (MOE), en assurant leur formation et
leur accompagnement. J’administre et garantis le bon fonctionnement de 12
clusters Elasticsearch, en m’assurant de leur performance, leur disponibilité et leur
stabilité. Je conçois et j’automatise les processus d’ingestion des logs dans ces
clusters afin d’assurer une collecte structurée et fiable des données. J’accompagne
également les équipes projet de bout en bout, depuis l’expression de leurs besoins
jusqu’à l’intégration des solutions Elasticsearch adaptées à leurs cas d’usage.
■ Reconfiguration complète de clusters Elasticsearch de production mal dimensionnés pour
l’ingestion de logs applicatifs. Réalisation d’un capacity planning, refonte des index templates
et des stratégies d’indexation. Correction des pipelines Logstash et création de nouveaux
index optimisés, assurant une ingestion fiable, performante et durable des données.
■ Conception et création d’une interface web à destination des équipes Ops et MOE pour
déclarer dynamiquement les clés (le format) de logs. Intégration à une pipeline GitLab CI/CD
automatisée injectant les filtres dans Logstash, générant des merge requests, puis déployant
les configurations dans Elasticsearch via API après validation. Solution full GitOps, traçable et
industrialisée.
■ Développement d’un microservice d’automatisation de la création d’espaces Kibana dédiés
pour chaque application. Génération automatique des espaces, rôles et role mappings,
assurant l’isolation et la sécurisation des logs par application. Solution facilitant la
gouvernance des accès et la lisibilité des données dans l’écosystème observabilité.
■ Déploiement d’une solution d’observabilité pour les pipelines COBOL exécutés via Jenkins et
l’environnement IBM IDz. Automatisation de l’extraction et du retraitement des logs
d’exécution, avec injection dans Elasticsearch. Création de dashboards Kibana clairs et
opérationnels, permettant aux équipes de superviser en temps réel leurs traitements batch
mainframe, de détecter les anomalies et d’optimiser leurs workflows. Mise en visibilité d’un
environnement critique jusqu’ici opaque.
Environnements techniques : Kubernetes, Docker, Argo cd, jfrog artifactory, ELK (Elasticsearch, Logstash, Kibana),
Kafka, Python, Mongodb, HTML, css, JavaScript React Native, Grafana, Dynatrace.

CESI École d’Ingénieurs, Nanterre : Intervenant-formateur externe en
DevOps (2024-2025).
Enseignant DevOps en Master 1 et 2. Contenus pédagogiques enseignés :
■ Architecture cloud native.
■ Infrastructure des systèmes d’information.
■ Stratégie d’hébergement applicatif.
■ Observabilité.

Worldline : Platform Architect (de Janvier 2021 à 2024)
Architecture et construction d’une plateforme de Business monitoring.
Proposition d’architecture, et création de la solution de supervision des
transactions bancaires des clients utilisant les machines carte bleue de Worldline
(Ingenico) et les systèmes de paiement en ligne.
■ Proposition d’une architecture globale de la solution.
■ Réalisation d’une capacity planning.
■ Création d’un script de génération des métriques de supervision (Python).
■ Création des machines Redhat8 pour Kafka, logstash, kibana, grafana,
elasticsearch (Terraform).
■ Création des modules puppet d’installation et de configuration de kafka, logstash,
kibana, grafana, elasticearch, metricbeat, filebeat.
■ Création et automatisation d’un cluster kafka.
■ Création et automatisation d’un cluster elasticsearch.
■ Création de pipelines Logstash pour la récupération et l’injection de données
dans elasticsearch en passant par Kafka.
■ Construction des dashbords de supervision sur Kibana et Grafana.
■ Exposition des dashbords aux clients (grafana, processus réseaux et sécurité,
Haproxy, iptables…)
■ Mise en place des scripts (exporters prometheus) de monitoring de la plateforme (Python)
■ Mise en place des dashbords de monitoring de la plateforme (Grafana avec
prometheus comme datasource)
■ Mise en place du processus de l’alerting sur Pagerduty.
■ Création d’un système de détection des anomalies basé sur des scripts de machine
learning de prédiction des comportements futurs des données. (Python, Pandas,
hotwinter Arima, Sarima…)
■ Création de playbook Ansible de maintenance des machines virtuelles et des
serveurs physiques de la solution.
■ Documentation du projet.
Environnements techniques : suite ELK (Elasticsearch, Logstash, Kibana), Kafka, Python, Perl, Puppet, Grafana,
Prometheus, Terraform, HAproxy, ExaBGP,Ansible, Jira, PostgreSQL, Redhat 8, gitlab

RADèS : Platform Architect (Septembre-Novembre 2021) :
Définition d'une nouvelle architecture du projet sur le cloud d’une plateforme de
supervision RADèS : LIGHTHOUSE
Amélioration de l’infrastructure du projet : migration sur le Cloud AWS
■ Conception et mise en œuvre d'une architecture logicielle d’une solution basée
sur Elasticsearch, déployée sur AWS et gérée par Kubernetes.
■ Utilisation d'Elasticsearch pour le stockage et l'indexation de données, avec une
intégration transparente grâce à Kubernetes et Amazon EKS (Elastic Kubernetes
Service).
■ Dockerisation du code Python existant en utilisant des Dockerfiles, suivi du
déploiement des images résultantes sur Amazon ECR (Elastic Container Registry).
■ Configuration d'un cluster EKS sur AWS pour héberger le système, impliquant la mise
en place d'une VPC, la gestion des rôles IAM et la configuration des groupes de sécurité.
■ Déploiement de l'infrastructure avec Helm, en personnalisant les charts pour
répondre aux exigences spécifiques du projet.
■ Mise en place de la communication entre différentes composantes du système,
assurant un flux de données fluide de l'application Python à Elasticsearch via Logstash.

IBM : Stage en intelligence artificielle (Mars - Août 2021)
Etant donné une base de connaissances (un jeu de donnée RDF) et une classe cible qui est décrite par une
propriété booléenne décrivant l’appartenance à une classe (comme l’acceptation d’un prêt), le but est de générer
un ensemble de règles de la logique permettant de classifier les données de la classe cible. La génération de ces
règles est faite par le système AMIE 3.
Réalisations :
■ Transformation de la base de données : Excel vers base de connaissance, selon
un modèle de graphe.
■ Analyse et catégorisation des données suivant les types : variables discrètes,
variables continues.
■ Développement d’un algorithme en python qui construit des intervalles et qui trouve
des seuils.
■ Enrichissement de la base de connaissance : Développement du modèle de graphe.
■ Utilisation du système AMIE 3 pour la génération des règles.
Environnement technique : Python pour la data science.

Coresponsable d'une chaîne youtube "The Techcave" mettant à disposition des
cours et formations :
▪ Introduction à l'interaction home machine.
▪ Docker container.
▪ Création d'une formation sur la Starck ELK (Elasticsearch logstash Kibana) (en cours)