CV/Mission de Consultant BIGQUERY freelance

Exemple de missions de Mohamed,
Consultant BIGQUERY habitant le Val-de-Marne (94)

EXPERIENCES PROFESSIONNELLES

NOVEMBRE 2021 À AUJOURD'HUI – INGENIEUR BIG DATA & CLOUD / ASSISTANT PO AUCHAN
Projet  : Mise en place d'un datalake (RDO) permettant de centraliser let referencer es données client
Auchan
Mission : Maintenance, évolution d'un datalake RDO (Referentiel de données opérationnelles) et migration
de celui-ci de l'ancien socle vers le Cloud GCP.
Réalisations / Tâches :
Participation à la définition et validation des schemas des nouveaux RDO avec les clients Métier
Évolutions et maintenance des API's permettant l'alimentation et l'extraction des données du
datalake.
Évolution, migration et fiabilisation des API's sur GCP.
Support auprès des clients utilisant le Socle RDO et récolte des nouveaux besoins.
Assurer les astreintes en production (24h/24) sur le projet.
Développement de nouveaux services GCP (nouveau socle) pour satisfaire les nouveaux besoin du
client
Assister le PO sur le suivi, chiffrage des instanciations RDO et Migration,
récolte, validation et ajout des nouveaux besoin clients dans le backlog.
Assurer les mise en Qualif/production automatique via les outils Devops (gitlab-ci).
Environnement technique :
Stockage: Elasticsearch, Couhbase.
Traitement des données : Integration Engine (Auchan).
Securité : API Manager.
Plateforme de messagerie : Apache Kafka.
Orchestration : Kubernetes, docker, Rancher 1
Développement :
Back-end : Java, nodejs
Methodologies: Agile, Kanban
Devops: gitlab CD/CI, Nexus.
Cloud GCP : pubSub, dataflow, BigQuery, IAM, BigTable, cloudStorage, fireStore
Supervision : kibana, Grafana (prometheus), kafkaHQ, Rancher UI, Cerebro.
Page 3 / 9
Mohamed ********

JANVIER 2019 À SEPTEMBRE 2021 – INGENIEUR BIG DATA – DEVOPS THALES (TDF/SIX
GTS)
Projet1 (20 mois) : Développement d'une plate-forme Big data Cloud/OnPremise (SDP), pour la
gestion de la sécurité des villes intelligentes et des sites critiques.
Mission : Assurer le workflow d’ingestion, de traitement des données sécurisées dans le data store.
Réalisations / Tâches :
Intervention dans les phases amonts (avant-vente, conseil) pour définir et concevoir les
architectures big-data adaptées aux divers contextes clients.
Modélisation et spécification des différentes interfaces clients pour les partenaires Thales.
Participation à la mise en œuvre et intégration des différentes solutions definies :
1. Développement d'Api’s, et Job ETL permettant l'alimentation de l'entrepôt de données.
2. Mise en place des règles permettant le traitement et l'exploitation des données dans l'entrepôt
de données.
3. Développement d'outils de visualisation et dadshboard (KPI’s).
4. Déploiement des services dans la plateforme Big data OnPremise.
Support aux différents partenaires utilisant la plateforme Big data.
Mentorer les nouveaux arrivant sur le projet pour les amener a développer les compétences
nécessaires
Veille technologiques et bench Mark
Environnement technique :
Stockage: Elasticsearch, Minio S3, posgresql.
Traitement des données : apache Flink, Flink SQL, apache ustream.
Securité : keycloak, casbin
Plateforme de messagerie : Apache Kafka, Mqtt.
Orchestration : Kubernetes, docker.
ETL : Apache Nifi, Nod-red.
Développement :
Back-end : Go Lang, Java, python, nodejs
Front-end: HTML, Javascript, echarts.js.
Methodologies: Agile, Kanban, Jira
Devops: gitlab CD/CI
Déploiement : Ansible

Autre: linux Centos, Cloud azure(IAAS), IOT, micro-services, MVP, Coworking (MVP),
documentation (confluence, swagger)
Page 4 / 9
Mohamed ********
Projet2 (11 mois) : Integration et deploiement de la solution SDP dans un projet de sécurisation et
supervison de sites critiques.
Mission : Deploiment du Cluster SDP et intefaçage de ce dernièr avec les sous systemes de l'ecosysteme
existant.
Réalisations / Tâches :
Réception, vérification et paramétrages des livraisons reçues.
Accompagnement et formation des differents intervenants sur le projets à la SDP et son utilisation
(ingénieur IT et systemes, chefs de projet, developpeurs, testeurs, ingénieurs securité, ….)
Remonter les differentes contraintes et failles ISO fonctionnelles liées aux exigences cients à
l'equipe SDP et s'assurer que celles ci soit corrigerés ou implementées.
Assurer le deploiment de la SDP sur les plateformes dediées :
1. Verification des prerequis sur les machines livrées par l'IT et sur l'os endurci livré également
2. deploiment de la solution SDP avec ansible.
3. Analyse, detection des anomalies et création de patchs
4. implémentation des régles métiers flink et ustream specifiques aux projet.
5. Développenent des Job permettant l(integration des données specifiques pour
l'industrialisation).
Demonstration de la solution fonctionelle au client final (gendarmes & police).
Environnement technique :
Stockage: Elasticsearch, Minio S3, posgresql.
Traitement des données : apache Flink, Flink SQL, apache ustream.
Securité : keycloak, casbin
Plateforme de messagerie : Apache Kafka, Mqtt.
Orchestration : Kubernetes, containerd.
Methodologies: Agile, Kanban
Déploiement : Ansible
Autre: linux Redhat 8.

FEVRIER 2018 à aujourd’hui – INGENIEUR BIG DATA – Thales (TDF/SIX GTS)

Projet : Développement d'une plateforme Big data Cloud/OnPremise, pour la gestion de la sécurité des villes intelligentes et des sites critiques.

Mission : Assurer le workflow d’ingestion, de traitement des données sécurisées dans le data store.

Réalisations / Tâches :

Modélisation des événements provenant des différentes sources de données.
Spécification des différentes interfaces pour les partenaires Thales.
Développement d'Api’s, et Job ETL permettant l'alimentation de l'entrepôt de données.
Mise en place des règles permettant le traitement et l'exploitation des données dans l'entrepôt de données.
Développement d'outils de visualisation et dadshboard (KPI’s).
Déploiement des services dans la plateforme Big data OnPremise.
Support aux différents partenaires utilisant la plateforme Big data.

Environnement technique :
Stockage: Elasticsearch, Minio S3, posgresql.
Traitement des données : apache Flink, Flink SQL, apache ustream.
Securité : keycloak, casbin
Plateforme de messagerie : Apache Kafka, Mqtt.
Orchestration : Kubernetes, docker.
ETL : Apache Nifi, Nod-red.
Développement :
Back-end : Go Lang, Java, python, nodejs
Front-end: HTML, Javascript, jQuery, Ajax, echarts.js.
Methodologies: Agile, Kanban
Devops: gitlab CD/CI
Déploiement : Ansible
Autre: linux Centos, Cloud azure(IAAS), IOT, micro-services, MVP, Coworking (MVP), documentation (confluence, swagger)

Novembre 2017 – JANVIER 2018 Formation Consultant BigData FITEC

Formation à l’écosystème Big Data

Cycle de production (DevOps, Intégration Continue, Déploiement continue)
Architecture distribuée BigData (Data lake, lambda, Batch, micro-batch, micro-services, …)
Traitement des données avec Spark/Scala
Architecture de l’écosystème Hadoop
Méthodologie Agile.
Intégration de données avec Talend, Kafka et Flume
Base de données NoSQL (Cassandra, Hbase)
Data Visualisation avec Tableau.

Projet de fin de formation : Mise en place d’un Data Lake et développement d’une vision 360° client pour une boutique de vente de produits cosmétiques.

Réalisations / Tâches :

Mise en place de l’architecture BIG-DATA fonctionnelle, applicative et physique du Data lake.
Benchmarking et étude des différents outils existants pour définir la solution adaptée au besoin
Redimensionnement et administration du cluster HADOOP
Conception des traitements à mettre en place.
Développement et optimisation des traitements Spark en batch et en streaming.
Contribution à l’exposition et à l’analyse des données pour la visualisation.

Environnement technique :

Spark & Spark streaming, Scala, shell, HortonWorks (Ambari, Ranger), zeppelin, FileBeat, ELK (LogStach, Elastic search, Kibana)

VALEO EQUIPEMENTS ELECTRIQUES
Septembre 2016-Octobre 2017

Ingenieur Systèmes UDS

Réalisation de l’architecture UDS pour assurer les fonctions de diagnostic sur la nouvelle génération d’alterno-démarreurs VALEO

Réalisations
Analyse des besoins du client en termes de fonctions de diagnostic à implémenter
Définition de l’architecture UDS du logiciel embarqué sur la machine (bootloader primary, secondary, application, transitions entre les sessions de diagnostic, …).
Définition de la stratégie DTC de gestion de default sur la machine (détection, confirmation, Snapshot, Aging, …)
Définition des opérations de calibration effectuées par l’UDS en phase de production et de fin de ligne.
Rédaction et Raffinement des exigences internes pour les équipes de développement et de test
Support des équipes de développement et de test.
Workshop organisées chez les constructeurs pour définir et étudier la faisabilité de l’implémentation des besoins du client.

Environnement technique :
Outil de spécification : Word (VBA)
Développement des outils de tests : CANoe 8.0, CANalyser 8.5, CANDela Studio 8.5, CAPL, Canoe.Diva, CAPL.

Continental
Octobre 2015-Septembre 2016

Ingénieur Système fonctionnel HMI
Gestion des exigences relatives au fonctionnement des écrans IHM des autos radios MultiMedia automobiles
Réalisations
Rédaction, Convergence et acceptante des spécifications client.
Rédaction et Raffinement des exigences internes pour les équipes de développement et de...