CV/Mission de Consultant BIGQUERY freelance

Exemple de missions de Mohamed,
Consultant BIGQUERY habitant le Val-de-Marne (94)

• INGENIEUR BIG DATA & CLOUD / ASSISTANT PO AUCHAN

  Jan 2021 - aujourd'hui

  Projet  : Mise en place d'un datalake (RDO) permettant de centraliser let referencer es données client
  Auchan
  Mission : Maintenance, évolution d'un datalake RDO (Referentiel de données opérationnelles) et migration
  de celui-ci de l'ancien socle vers le Cloud GCP.
  Réalisations / Tâches :
  Participation à la définition et validation des schemas des nouveaux RDO avec les clients Métier
  Évolutions et maintenance des API's permettant l'alimentation et l'extraction des données du
  datalake.
  Évolution, migration et fiabilisation des API's sur GCP.
  Support auprès des clients utilisant le Socle RDO et récolte des nouveaux besoins.
  Assurer les astreintes en production (24h/24) sur le projet.
  Développement de nouveaux services GCP (nouveau socle) pour satisfaire les nouveaux besoin du
  client
  Assister le PO sur le suivi, chiffrage des instanciations RDO et Migration,
  récolte, validation et ajout des nouveaux besoin clients dans le backlog.
  Assurer les mise en Qualif/production automatique via les outils Devops (gitlab-ci).

• INGENIEUR BIG DATA

  DEVOPS THALES (TDF/SIX GTS)
  Jan 2019 - aujourd'hui

  Projet1 (20 mois) : Développement d'une plate-forme Big data Cloud/OnPremise (SDP), pour la
  gestion de la sécurité des villes intelligentes et des sites critiques.
  Mission : Assurer le workflow d’ingestion, de traitement des données sécurisées dans le data store.
  Réalisations / Tâches :
  Intervention dans les phases amonts (avant-vente, conseil) pour définir et concevoir les
  architectures big-data adaptées aux divers contextes clients.
  Modélisation et spécification des différentes interfaces clients pour les partenaires Thales.
  Participation à la mise en œuvre et intégration des différentes solutions definies :
  1. Développement d'Api’s, et Job ETL permettant l'alimentation de l'entrepôt de données.
  2. Mise en place des règles permettant le traitement et l'exploitation des données dans l'entrepôt
  de données.
  3. Développement d'outils de visualisation et dadshboard (KPI’s).
  4. Déploiement des services dans la plateforme Big data OnPremise.
  Support aux différents partenaires utilisant la plateforme Big data.
  Mentorer les nouveaux arrivant sur le projet pour les amener a développer les compétences
  nécessaires
  Veille technologiques et bench Mark

  Environnement technique : Stockage: Elasticsearch, Minio S3, posgresql. Traitement des données : apache Flink, Flink SQL, apache ustream. Securité : keycloak, casbin Plateforme de messagerie : Apache Kafka, Mqtt. Orchestration : Kubernetes, docker. ETL : Apache Nifi, Nod-red. Développement : Back-end : Go Lang, Java, python, nodejs Front-end: HTML, Javascript, echarts.js. Methodologies: Agile, Kanban, Jira Devops: gitlab CD/CI Déploiement : Ansible Autre: linux Centos, Cloud azure(IAAS),

• INGENIEUR BIG DATA

  Thales (TDF/SIX GTS)
  Jan 2018 - aujourd'hui

  Projet : Développement d'une plateforme Big data Cloud/OnPremise, pour la gestion de la sécurité des villes intelligentes et des sites critiques.
  
  Mission : Assurer le workflow d’ingestion, de traitement des données sécurisées dans le data store.
  
  Réalisations / Tâches :
  
  Modélisation des événements provenant des différentes sources de données.
  Spécification des différentes interfaces pour les partenaires Thales.
  Développement d'Api’s, et Job ETL permettant l'alimentation de l'entrepôt de données.
  Mise en place des règles permettant le traitement et l'exploitation des données dans l'entrepôt de données.
  Développement d'outils de visualisation et dadshboard (KPI’s).
  Déploiement des services dans la plateforme Big data OnPremise.
  Support aux différents partenaires utilisant la plateforme Big data.

  Environnement technique : Stockage: Elasticsearch, Minio S3, posgresql.

• Formation Consultant

  BigData FITEC
  Jan 2017 - Jan 2018

  Formation à l’écosystème Big Data
  
  Cycle de production (DevOps, Intégration Continue, Déploiement continue)
  Architecture distribuée BigData (Data lake, lambda, Batch, micro-batch, micro-services, …)
  Traitement des données avec Spark/Scala
  Architecture de l’écosystème Hadoop
  Méthodologie Agile.
  Intégration de données avec Talend, Kafka et Flume
  Base de données NoSQL (Cassandra, Hbase)
  Data Visualisation avec Tableau.
  
  Projet de fin de formation : Mise en place d’un Data Lake et développement d’une vision 360° client pour une boutique de vente de produits cosmétiques.
  
  Réalisations / Tâches :
  
  Mise en place de l’architecture BIG-DATA fonctionnelle, applicative et physique du Data lake.
  Benchmarking et étude des différents outils existants pour définir la solution adaptée au besoin
  Redimensionnement et administration du cluster HADOOP
  Conception des traitements à mettre en place.
  Développement et optimisation des traitements Spark en batch et en streaming.
  Contribution à l’exposition et à l’analyse des données pour la visualisation.

  Environnement technique : Spark & Spark streaming, Scala, shell, HortonWorks (Ambari, Ranger), zeppelin, FileBeat, ELK (LogStach, Elastic search, Kibana)

• Ingenieur Systèmes UDS

  VALEO EQUIPEMENTS ELECTRIQUES
  Jan 2016 - Jan 2017

  Réalisation de l’architecture UDS pour assurer les fonctions de diagnostic sur la nouvelle génération d’alterno-démarreurs VALEO
  
  Réalisations
  Analyse des besoins du client en termes de fonctions de diagnostic à implémenter
  Définition de l’architecture UDS du logiciel embarqué sur la machine (bootloader primary, secondary, application, transitions entre les sessions de diagnostic, …).
  Définition de la stratégie DTC de gestion de default sur la machine (détection, confirmation, Snapshot, Aging, …)
  Définition des opérations de calibration effectuées par l’UDS en phase de production et de fin de ligne.
  Rédaction et Raffinement des exigences internes pour les équipes de développement et de test
  Support des équipes de développement et de test.
  Workshop organisées chez les constructeurs pour définir et étudier la faisabilité de l’implémentation des besoins du client.

  Environnement technique : Outil de spécification : Word (VBA) Développement des outils de tests : CANoe 8.0, CANalyser 8.5, CANDela Studio 8.5, CAPL, Canoe.Diva, CAPL.

• Ingénieur Système fonctionnel HMI

  Continental
  Jan 2015 - Jan 2016

  Gestion des exigences relatives au fonctionnement des écrans IHM des autos radios MultiMedia automobiles
  Réalisations
  Rédaction, Convergence et acceptante des spécifications client.
  Rédaction et Raffinement des exigences internes pour les équipes de développement et de...

• API Manager.

  Traitement des données : Integration Engine (Auchan).
  aujourd'hui

  Plateforme de messagerie : Apache Kafka.
  Orchestration : Kubernetes, docker, Rancher 1
  Développement :
  Back-end : Java, nodejs

  Methodologies: Agile, Kanban Devops: gitlab CD/CI, Nexus. Cloud GCP : pubSub, dataflow, BigQuery, IAM, BigTable, cloudStorage, fireStore Supervision : kibana, Grafana (prometheus), kafkaHQ, Rancher UI, Cerebro. Page 3 / 9 Mohamed ********

• aujourd'hui

  Mohamed ********
  Projet2 (11 mois) : Integration et deploiement de la solution SDP dans un projet de sécurisation et
  supervison de sites critiques.
  Mission : Deploiment du Cluster SDP et intefaçage de ce dernièr avec les sous systemes de l'ecosysteme
  existant.
  Réalisations / Tâches :
  Réception, vérification et paramétrages des livraisons reçues.
  Accompagnement et formation des differents intervenants sur le projets à la SDP et son utilisation
  (ingénieur IT et systemes, chefs de projet, developpeurs, testeurs, ingénieurs securité, ….)
  Remonter les differentes contraintes et failles ISO fonctionnelles liées aux exigences cients à
  l'equipe SDP et s'assurer que celles ci soit corrigerés ou implementées.
  Assurer le deploiment de la SDP sur les plateformes dediées :
  1. Verification des prerequis sur les machines livrées par l'IT et sur l'os endurci livré également
  2. deploiment de la solution SDP avec ansible.
  3. Analyse, detection des anomalies et création de patchs
  4. implémentation des régles métiers flink et ustream specifiques aux projet.
  5. Développenent des Job permettant l(integration des données specifiques pour
  l'industrialisation).
  Demonstration de la solution fonctionelle au client final (gendarmes & police).

  Environnement technique : Stockage: Elasticsearch, Minio S3, posgresql.

• aujourd'hui

  Traitement des données : apache Flink, Flink SQL, apache ustream.
  Securité : keycloak, casbin
  Plateforme de messagerie : Apache Kafka, Mqtt.
  Orchestration : Kubernetes, containerd.
  Methodologies: Agile, Kanban
  Déploiement : Ansible
  Autre: linux Redhat 8.

• aujourd'hui

  Traitement des données : apache Flink, Flink SQL, apache ustream.
  Securité : keycloak, casbin
  Plateforme de messagerie : Apache Kafka, Mqtt.
  Orchestration : Kubernetes, docker.
  ETL : Apache Nifi, Nod-red.
  Développement :
  Back-end : Go Lang, Java, python, nodejs
  Front-end: HTML, Javascript, jQuery, Ajax, echarts.js.

  Methodologies: Agile, Kanban Devops: gitlab CD/CI Déploiement : Ansible Autre: linux Centos, Cloud azure(IAAS), IOT, micro-services, MVP, Coworking (MVP), documentation (confluence, swagger)