Mouloud - Data Analyst UNIX

Mise en place d'une solution de contrôles des données inter applications dans environnement Hadoop

Réalisations :
Collecte de données depuis Kafka avec Spark Streaming
Optimisation des temps de traitement Spark Streaming et hive
Conception et création de vues exploratoires et métiers sur les données
Industrialisation et automatisation de la chaîne de collecte de bout en bout
Synchronisation inter-traitements
Mise en place du monitoring et de l’alerting des traitements
Optimisation de la robustesse des traitements
Qualification et traitement des anomalies
Alimentation temps réel d’une base mongo DB avec nifi

Environnement technique : Unix, Hadoop (Cloudera), Hive, Spark, SQL, HQL,Kafka, Nifi, Jira
Méthodologie projet : Scrum (Agile)
groupama
Durée : Depuis Juin 2016 à Mai 2018
Participation au projet Océan « Implémentation d’un data warehouse dans un environnement Hadoop »
Réalisations :
Audit des scripts Pig et améliorer leur performance
Conception et réalisation d’un prototype Spark sur l’alimentation des tables de fait et de dimension
Mise en œuvre du prototype en mode production
Traitement des données Hive avec Spark-sql
Développement de requêtes SQL

Participation au projet « Comportement des investisseurs »
Réalisations :
Développement de règles métier sur une base de données orientée colonne (vertica)
Conception et création de la table de fait
Développement de requêtes SQL

Mise en place d’un système de récupération des logs applicatifs et proposition d’une interface de supervision en temps réel
Projet Centralisation, indexation et stockage des Logs sur un cluster ElasticSearch.


Réalisations :

Etude et conception d’architecture de bout en bout.

Rédaction des spécifications fonctionnelles
Collecte en quasi temps réel avec logstash shipper
Centralisation et gestion de flux avec KAFKA (Broker redondant)
Indexation avec logstash Indexer et stockage sur elasticsearch (réplication sur plusieurs nœuds)
Tolérance aux pannes et gestion de charge (Load Balancing).

Projet
Traitement des données géospatiales avec des données d’une cartographie dans un environnement Hadoop afin d’enrichir les données

Réalisations :

Traitement massif des données géospatiales dans environnement Hadoop Hortonworks
Calcul de trajets de boitiers GPS sur un historique de deux ans (36 milliards de coordonnées)
Optimisation de la plateforme Hadoop afin de d’obtenir les meilleures performances sur le cluster

Mise en place d’un système de récupération de logs machine et supervision des états de ces équipements
Projet Analyse en temps réel du fonctionnement des équipements

Réalisations :

Etude et conception d’architecture de bout en bout.

Collecte en quasi temps réel avec logstash
Développement de scripts de parsing des logs
Création et administration d’un cluster elasticsearch sur 3 machines
Suivi en temps réel (kibana)
Rédaction des spécifications fonctionnelles et techniques

Récupération des données d'un système de badge depuis un web service et calcul du temps de travail des employés
Projet Optimisation de flux

Réalisations :

Collecte d’information sur un système de badge
Recommandation sur les horaires d’arrivée, départ et pause déjeuner
Développement de packages Microsoft SSIS
Rédaction de la documentation technique

Réalisation d’un POC sur la voiture connectée chez PSA, qui propose le suivi des voitures sur des maps et permet d’envoyer de l’information entre elles
Projet SmartCity

Réalisations :

Preuves de Concept Métier (PoC)
Proposition d'une solution permettant de gérer la charge et réduire le temps de latence et de traitement.
Conception d'une architecture distribuée permettant la connectivité et l'interopérabilité de plusieurs produits (IBM Streams Server et studio, Websphere MQ, SPSS et BigInsights)
Preuve de concept technique (PoT)
Installation, administration et test de plateforme Hadoop sur un cluster de 5 machines OVH (IBM BigInsights)
Développement de modèles de Machine Learning sous SPSS
Intégration et interconnexion de briques applicatives sous plateforme Hadoop
Stockage de données dans HDFS.

Centre R&D
Migration/Installation/Tests

Projet : Collaboration avec l’équipe R&D afin de tester les solutions Hadoop

Réalisations:

Installation administration et test de plateformes Hadoop (Hortonworks, Cloudera et Mapr)
Tests et connexion des différentes briques proposées par ces solutions
Installation et configuration de Kerberos
Migration d’un entrepôt de données de Microsoft SQL Server vers Hadoop/Hive (Sqoop)
Indexation automatique d’une base textuelle avec elasticsearch et visualisation dans kibana
Rédaction des rapports d’activités sur les technologies testés

Coyoye système
Projet : Participation au développement du système décisionnel

Réalisations :

Améliorer l’existant (Amélioration des performances du DWH)
Extraction des données Excel via des cubes OLAP
Construire de nouveaux indicateurs (nouveau schéma)
Développement des jobs d’alimentation et des rapports
Définition des indicateurs pour les tableaux de bords
Documentation des rapports et les règles de gestion
Rédaction des spécifications techniques et des documents fonctionnels (cahiers des charges)

hexaglobe

Projet : Réalisation d’un système décisionnel de suivi des abonnements clients

Etudes et synthèse des solutions techniques
Etude et conception de l’entrepôt de données
Analyse de besoins utilisateur
Réalisation des spécifications fonctionnelles et techniques
Extraction de données sources de divers formats, normalisation et intégration dans une base de données commune
Réalisation de transformations (jobs) pour l’extraction et le traitement des données
Développement de rapports d’activité
Environnement technique : Suite Pentaho, Talend Data Intégration.

CDI Administrateur système ETS TELEPARTNERS SYSTEM Algérie:

Technologie GPRS en pratique : paramétrage du boitier genloc31e
Configuration, Diagnostic et Debug d’élément de Géolocalisation
Etude du modèle de donnée de l’application « Suivi-GPS »
Etablissement des procédures de support et couplage à un dispositif de supervision Open Source (nagios)
Administration système (Windows server 2003)
Administration du serveur MySQL, Réplication, Dump
Installation et administration de l’outil GLPI/OCS inventory pour la gestion du parc informatique

Stage ETS TELEPARTNERS SYSTEM Intégration

Stage au département d’Informatique.
Informatisation du système d’information sur le suivi de la scolarité :
Développement d’une application de gestion des étudiants avec Delphi (pascal)