Fares - Data Engineer

Ref : 221020S002
Photo de Fares, Data Engineer
Compétences
AZURE
APACHE KAFKA
SQL
APACHE HADOOP
Expériences professionnelles
  • Ingénieur Big Data

    Boursorama
    Jan 2021 - aujourd'hui

    Contexte du projet : Développement des jobs temps réel et des tests unitaires et la
    mise en place des scénarios métier ainsi que la Conception et la migration des
    scénarios de conformité métier.
    Tâches effectuées :
    • Benchmarking et application de l’allocation dynamique sur Zeppelin pour
    optimiser l’utilisation des ressources.
    • Développement d’un job temps réel afin de valoriser des données Kafka dans des
    tables Cassandra après traitements.
    • Développement des tests unitaires.
    • Développement d’un job Spark en Python afin d’appliquer les règles métier et le
    déployer sur Jenkins.
    • Migration des scénarios de conformité afin d’optimiser la qualité des alertes par
    une méthode intelligente Machine Learning.
    • Conception des tables et la solution à appliquer (les tables référentiels, tables
    agrégations …).
    • Compréhension des règles métiers et les sources des données à utiliser.
    • Développement d’un job Spark en scala générique configurable pour les 23
    scénarios métier.
    • Réalisation d’une phase recette avec les métiers.
    • Participation à la création d’un process NIFI pour envoyer les alertes générées à
    Oxygéné.
    • Documentation des règles métier et les choix technique sur Confluence.
    • Participation à la création des taches Jira.

    Environnement technique : Hadoop, Kafka, Spark, Scala, Pyspark, Hive, Cassandra, Nifi, Intellij (SBT), Jenkins
  • Ingénieur Big Data – Azure Cloud

    Orange
    Jan 2019 - Jan 2021

    Contexte du projet : Migration d’une base de données oracle ainsi que plus de 30 jobs
    et 100 rapports de sending vers une plateforme Big data Azure.
    Tâches effectuées :
    • Etude et compréhension des différentes problématiques relatives aux différents use
    cases, compréhension et mesure des enjeux métier.
    • Benchmarking des différentes solutions relatives à chaque use case.
    • Développement de jobs (Processor Group) de collection de données par Nifi en
    les stockant dans Datalake Storage GEN2.
    • Traitements des flux des données en déployant un job Template Spark sur
    Databricks (Scala).
    • Développement de jobs Spark Scala sur Databricks afin de migrer les différents
    rapports de sending à partir de l’ancienne solution.
    • Optimisation de code spark afin de garantir des performances optimales.
    • Définition du dimensionnement adéquat à chaque job selon les différentes
    ressources demandées.
    • Développement d’un Job spark scala en temps réel afin de valoriser les données
    gestionner via Event Hub dans une base de données Cosmos
    • Réalisation d’une phase de recette des différents jobs via des requêtes SQL en
    effectuant une étude comparative avec l’ancienne solution afin de vérifier
    l’intégrité des données.
    • Planification et ordonnancement des services avec Data Factory.
    • Pilotage des opérations de maintenance corrective et évolutive et Monitoring
    des différents jobs via des alertes et envoi de mails.

    Environnement technique : Azure, Spark Databricks, Scala, Cosmos, Data Factory, Nifi, Event Hub,Datalake Storage Gen2.
  • Ingénieur Data

    Sofrecom
    Jan 2018 - Jan 2019

    Contexte du projet : Mis en place d’un système de prédiction permettant d’anticiper
    la saturation d’appels dans un centre de contact et garantir une expérience client
    optimale.
    Tâches effectuées :
    • Animation de workshops avec l’équipe métier pour le recueil des besoins et la
    rédaction des spécifications fonctionnelles.
    • Recueil du besoin technique et étude des choix technologiques possibles.
    • Définition des différents KPIs et indicateurs en se basant sur une étude statistique
    unidimensionnelle et bidimensionnelle et validation avec les managers.
    • Extraction de la donnée d’une base de données SQL vers l’infrastructure Hadoop
    via Sqoop.
    • Nettoyage, analyse et exploration des données afin de construire un modèle
    optimal
    • Réalisation d’études statistiques unidimensionnelles et bidimensionnelles afin de
    définir la distribution des datasets
    • Benchmarking et évaluation des performances de 3 modèles de régression
    (arbre de décision, foret aléatoire, XGBoost)
    • Définition des différentes classes de tenant FCC « Clustering ».
    • Prédiction du nombre d’appel par service (Régression) afin d’anticiper une
    éventuelle saturation et afin de garantir une expérience client optimale
    • Développement des différents dashboards sous PowerBI Afin de mettre en valeur
    les résultats obtenus.

    Environnement technique : VMware (Cloudera), Spark, Pyspark ,HDFS, SQLserver, Sqoop, PowerBI, Clustering (Kmeans), Régression (arbre de décision, foret aléatoire, XGBoost)
Études et formations
  • Diplôme d'ingénieur en Big Data –

    ESC (membre institut mine Télécoms)
    2018
  • Diplôme d’étude universitaire du premier cycle

    39/1500 (Diplôme des classes préparatoires).
    2015
Autres compétences
Expertise technique
● Big DATA: Hadoop, Spark (Scala & Python), Spark Structured Streaming, Spark
Streaming, Kafka, Nifi, HDFS, Event Hub, Databricks, Hive, Cosmos, Datalake
Storage Gen2, HUE.
● Langages de Programmation : Scala, Python.
● Outils de développement : Intellij(SBT,Maven),Spyder, Jupyter…
● Méthodologies : Méthodes Agiles, Scrum,Jira.
● Base de données : Hbase, SQL,Oracle, Datalake Storage Gen2, Cosmos.

D'autres freelances
Data Analyst APACHE SPARK

Ces profils pourraient vous intéresser !
CV Architecte Data/Solutions
Ahmed Iyed

Architecte Data/Solutions

  • PARIS
Google Cloud Platform BIG DATA Cloud AWS AZURE PYTHON ENTERPRISE ARCHITECT MDM TOGAF APACHE SPARK APACHE HADOOP
Bientôt disponible
CV Data Analyst PYTHON
Mouad

Data Analyst PYTHON

  • ASNIÈRES-SUR-SEINE
PYTHON SQL DATA SQL SERVER APACHE SPARK APACHE HADOOP
Disponible
CV Data Analyst
Aghiles

Data Analyst

  • DEUIL-LA-BARRE
DATA Microsoft Power BI PYTHON SQL Google Cloud Platform APACHE SPARK
Disponible
CV Data Analyst Microsoft Power BI
Hamza

Data Analyst Microsoft Power BI

  • CROISSY-SUR-SEINE
PYTHON SQL Microsoft Power BI APACHE SPARK Google Cloud Platform
Bientôt disponible
CV data engineer
Salim

data engineer

  • CHÂTILLON
SQL PYSPARK APACHE HIVE UNIX SHELL UNIX HDFS APACHE SPARK
Disponible
CV Data Analyst EXCEL
Massilia

Data Analyst EXCEL

  • CHEVILLY-LARUE
DATA EXCEL SQL Microsoft Power BI PYTHON APACHE SPARK AZURE
Disponible
CV Data Analyst Power bi
Bineta

Data Analyst Power bi

  • LE BOURGET
SQL DATAVIZ Microsoft Power BI SQL SERVER SAS BUSINESS OBJECTS PYTHON APACHE SPARK AZURE TABLEAU SOFTWARE
Bientôt disponible
CV Data Engineer
Ayyoub

Data Engineer

  • NANTERRE
SQL APACHE SPARK SCALA PYTHON APACHE HADOOP GIT Cloudera SCRUM AZURE
Disponible
CV Tech Lead Data / Data Engineer
Mouhamed Cheikh

Tech Lead Data / Data Engineer

  • CHELLES
BIG DATA APACHE SPARK APACHE HADOOP Data science SCALA PYTHON SQL Cloud AWS DEVOPS Google Cloud Platform
Disponible
CV Data Analyst - Data engineer
Kevin

Data Analyst - Data engineer

  • BÈGLES
SQL EXCEL PYTHON Microsoft Power BI BIGQUERY Google Cloud Platform APACHE SPARK JAVASCRIPT