Fares - Data Engineer
Ref : 221020S002-
Domicile
94320 THIAIS (Tunisie)
-
Profil
Data Analyst (29 ans)
-
StatutFreelance
-
Tarif Journalier MoyenVoir le tarif
-
Ingénieur Big Data
Boursoramajuin 2021 - aujourd'huiContexte du projet : Développement des jobs temps réel et des tests unitaires et la
Environnement technique : Hadoop, Kafka, Spark, Scala, Pyspark, Hive, Cassandra, Nifi, Intellij (SBT), Jenkins
mise en place des scénarios métier ainsi que la Conception et la migration des
scénarios de conformité métier.
Tâches effectuées :
• Benchmarking et application de l’allocation dynamique sur Zeppelin pour
optimiser l’utilisation des ressources.
• Développement d’un job temps réel afin de valoriser des données Kafka dans des
tables Cassandra après traitements.
• Développement des tests unitaires.
• Développement d’un job Spark en Python afin d’appliquer les règles métier et le
déployer sur Jenkins.
• Migration des scénarios de conformité afin d’optimiser la qualité des alertes par
une méthode intelligente Machine Learning.
• Conception des tables et la solution à appliquer (les tables référentiels, tables
agrégations …).
• Compréhension des règles métiers et les sources des données à utiliser.
• Développement d’un job Spark en scala générique configurable pour les 23
scénarios métier.
• Réalisation d’une phase recette avec les métiers.
• Participation à la création d’un process NIFI pour envoyer les alertes générées à
Oxygéné.
• Documentation des règles métier et les choix technique sur Confluence.
• Participation à la création des taches Jira. -
Ingénieur Big Data – Azure Cloud
Orangejanvier 2019 - juin 2021Contexte du projet : Migration d’une base de données oracle ainsi que plus de 30 jobs
Environnement technique : Azure, Spark Databricks, Scala, Cosmos, Data Factory, Nifi, Event Hub,Datalake Storage Gen2.
et 100 rapports de sending vers une plateforme Big data Azure.
Tâches effectuées :
• Etude et compréhension des différentes problématiques relatives aux différents use
cases, compréhension et mesure des enjeux métier.
• Benchmarking des différentes solutions relatives à chaque use case.
• Développement de jobs (Processor Group) de collection de données par Nifi en
les stockant dans Datalake Storage GEN2.
• Traitements des flux des données en déployant un job Template Spark sur
Databricks (Scala).
• Développement de jobs Spark Scala sur Databricks afin de migrer les différents
rapports de sending à partir de l’ancienne solution.
• Optimisation de code spark afin de garantir des performances optimales.
• Définition du dimensionnement adéquat à chaque job selon les différentes
ressources demandées.
• Développement d’un Job spark scala en temps réel afin de valoriser les données
gestionner via Event Hub dans une base de données Cosmos
• Réalisation d’une phase de recette des différents jobs via des requêtes SQL en
effectuant une étude comparative avec l’ancienne solution afin de vérifier
l’intégrité des données.
• Planification et ordonnancement des services avec Data Factory.
• Pilotage des opérations de maintenance corrective et évolutive et Monitoring
des différents jobs via des alertes et envoi de mails. -
Ingénieur Data
Sofrecomjuin 2018 - janvier 2019Contexte du projet : Mis en place d’un système de prédiction permettant d’anticiper
Environnement technique : VMware (Cloudera), Spark, Pyspark ,HDFS, SQLserver, Sqoop, PowerBI, Clustering (Kmeans), Régression (arbre de décision, foret aléatoire, XGBoost)
la saturation d’appels dans un centre de contact et garantir une expérience client
optimale.
Tâches effectuées :
• Animation de workshops avec l’équipe métier pour le recueil des besoins et la
rédaction des spécifications fonctionnelles.
• Recueil du besoin technique et étude des choix technologiques possibles.
• Définition des différents KPIs et indicateurs en se basant sur une étude statistique
unidimensionnelle et bidimensionnelle et validation avec les managers.
• Extraction de la donnée d’une base de données SQL vers l’infrastructure Hadoop
via Sqoop.
• Nettoyage, analyse et exploration des données afin de construire un modèle
optimal
• Réalisation d’études statistiques unidimensionnelles et bidimensionnelles afin de
définir la distribution des datasets
• Benchmarking et évaluation des performances de 3 modèles de régression
(arbre de décision, foret aléatoire, XGBoost)
• Définition des différentes classes de tenant FCC « Clustering ».
• Prédiction du nombre d’appel par service (Régression) afin d’anticiper une
éventuelle saturation et afin de garantir une expérience client optimale
• Développement des différents dashboards sous PowerBI Afin de mettre en valeur
les résultats obtenus.
-
Diplôme d'ingénieur en Big Data –
ESC (membre institut mine Télécoms)2018 -
Diplôme d’étude universitaire du premier cycle
39/1500 (Diplôme des classes préparatoires).2015
Expertise technique
â Big DATA: Hadoop, Spark (Scala & Python), Spark Structured Streaming, Spark
Streaming, Kafka, Nifi, HDFS, Event Hub, Databricks, Hive, Cosmos, Datalake
Storage Gen2, HUE.
â Langages de Programmation : Scala, Python.
â Outils de développement : Intellij(SBT,Maven),Spyder, Jupyter…
â Méthodologies : Méthodes Agiles, Scrum,Jira.
â Base de données : Hbase, SQL,Oracle, Datalake Storage Gen2, Cosmos.
D'autres freelances
Data Analyst APACHE SPARK
Ces profils pourraient vous intéresser !
Data Engineer
- VAL-DE-REUIL
Data Analyst / Data engineer
- CACHAN
Data Engineer/ Data Scientist
- TOULOUSE
Data Engineer | Data Analyst | Formateur
- NANTES
Data Scientist PYTHON
- LONGJUMEAU
Data Analyst
- LILLE
Data Scientist
- BUSSY-SAINT-GEORGES
Data Engineer SQL
- NOISY-LE-GRAND
Data Analyst Power BI | SQL
- BOULOGNE-BILLANCOURT
Data Engineer
- MARSEILLE