Freelance Google Cloud Platform : Choisissez les savoir-faire qui vous manquent

Exemple d'expériences de Mohammed,
freelance GOOGLE CLOUD PLATFORM résidant dans le Val-d'Oise (95)

• Lead Data Engineer

  Zodiac Maritime
  Jan 2022 - aujourd'hui

  ● Migration d'énormes volumes de données historiques d'Oracle 10 vers Azure SQL Database.
  ● Construire un entrepôt de données de classe mondiale dans Azure.
  ● Travailler avec des analystes commerciaux, le business et le directeur de programme pour créer une feuille de route de migration de notre base de données Oracle sur site vers Azure Cloud.
  ● Recodage des SQL volumineux et lents dans Oracle pour améliorer le traitement des données
  ● Construire des modèles de données efficaces, introduire des normes de développement de base de données, gérer l'architecture de données de bout en bout pour l'entrepôt de données afin de permettre une exécution optimale et rapide des pipelines de données de production.
  ● Approche DevOps préconisée et appliquée pour mettre en œuvre des pipelines d'intégration continue et de livraison continue (CI/CD).
  ● Intégrer les fonctionnalités techniques, assurer l'accessibilité, l'exactitude et la sécurité des données.

  _Oracle, Azure, Azure Data Factory, Azure DevOps, SQL, Docker, Terraform, JIRA, Git

• Lead Data Engineer

  Zodiac Maritime
  Jan 2022 - aujourd'hui

  ● Migration d'énormes volumes de données historiques d'Oracle 10 vers Azure SQL Database.
  ● Construire un entrepôt de données de classe mondiale dans Azure.
  ● Travailler avec des analystes commerciaux, le business et le directeur de programme pour créer
  une feuille de route de migration de notre base de données Oracle sur site vers Azure Cloud.
  ● Recodage des SQL volumineux et lents dans Oracle pour améliorer le traitement des données
  ● Construire des modèles de données efficaces, introduire des normes de développement de base de
  données, gérer l'architecture de données de bout en bout pour l'entrepôt de données afin de
  permettre une exécution optimale et rapide des pipelines de données de production.
  ● Approche DevOps préconisée et appliquée pour mettre en œuvre des pipelines d'intégration
  continue et de livraison continue (CI/CD).
  ● Intégrer les fonctionnalités techniques, assurer l'accessibilité, l'exactitude et la sécurité des
  données.

  _Oracle, Azure, Azure Data Factory, Azure DevOps, SQL, Docker, Terraform, JIRA,Git

• Lead Data Engineer & Architecte des données

  Huboo
  Jan 2022 - Jan 2022

  ● Utilisation d'une technologie de pointe sur AWS pour créer un entrepôt de données de classe mondiale dans Snowflake à partir de zéro.
  ● Travailler côte à côte avec des ingénieurs DevOps, des Data Scientists et des Software Engineers hautement qualifiés pour créer des produits et services de données puissants, améliorant ainsi l'expérience de nos clients.
  ● Travailler quotidiennement avec une grande base de code Python, trouvant des erreurs courantes et de mauvais modèles de données et les corrigeant.
  ● Rédaction de tests unitaires, d'intégration et de tests end to end.
  ● Recodage des tâches Pyspark volumineuses et lentes dans AWS Glue pour améliorer le traitement des données
  ● Effectuer des modélisations de données et des améliorations architecturales pour permettre une exécution optimale et rapide des pipelines de données de production.
  ● Approche DevOps préconisée et appliquée pour mettre en œuvre des pipelines d'intégration continue et de livraison continue (CI/CD).
  ● Gestion de l'architecture de données de bout en bout, depuis la sélection de la plate-forme et des outils, la conception de l'architecture technique et le développement de la solution jusqu'au test final de la solution.
  ● Développer et mettre en œuvre une stratégie globale de données organisationnelles qui est en ligne avec les processus d’entreprise. Cette stratégie comprend la conception de modèles de données, les normes de développement de bases de données, la mise en oeuvre et la gestion d'entrepôts de données et de systèmes d'analyse de données
  ● Intégrer les fonctionnalités techniques, assurer l'accessibilité, l'exactitude et la sécurité des données.

  _Python 3, AWS, Snowflake, PostgreSQL, Pyspark, ECS, Fargate, Azure DevOps, Airflow, Docker, Kubernetes, Terraform, JIRA, Git

• Lead Data Engineer & Architecte des données

  Huboo
  Jan 2022 - Jan 2022

  ● Utilisation d'une technologie de pointe sur AWS pour créer un entrepôt de données de classe
  mondiale dans Snowflake à partir de zéro.
  ● Travailler côte à côte avec des ingénieurs DevOps, des Data Scientists et des Software Engineers
  hautement qualifiés pour créer des produits et services de données puissants, améliorant ainsi
  l'expérience de nos clients.
  ● Travailler quotidiennement avec une grande base de code Python, trouvant des erreurs courantes
  et de mauvais modèles de données et les corrigeant.
  ● Rédaction de tests unitaires, d'intégration et de tests end to end.
  ● Recodage des tâches Pyspark volumineuses et lentes dans AWS Glue pour améliorer le traitement
  des données
  ● Effectuer des modélisations de données et des améliorations architecturales pour permettre une
  exécution optimale et rapide des pipelines de données de production.
  ● Approche DevOps préconisée et appliquée pour mettre en œuvre des pipelines d'intégration
  continue et de livraison continue (CI/CD).
  ● Gestion de l'architecture de données de bout en bout, depuis la sélection de la plate-forme et des
  outils, la conception de l'architecture technique et le développement de la solution jusqu'au test final
  de la solution.
  ● Développer et mettre en œuvre une stratégie globale de données organisationnelles qui est en
  ligne avec les processus d’entreprise. Cette stratégie comprend la conception de modèles de
  données, les normes de développement de bases de données, la mise en oeuvre et la gestion
  d'entrepôts de données et de systèmes d'analyse de données
  ● Intégrer les fonctionnalités techniques, assurer l'accessibilité, l'exactitude et la sécurité des
  données.

  _Python 3, AWS, Snowflake, PostgreSQL, Pyspark, ECS, Fargate, Azure DevOps,Airflow, Docker, Kubernetes, Terraform, JIRA, Git

• Sénior Data Engineer

  HSBC
  Jan 2021 - Jan 2022

  ● Utiliser des technologies de pointe sur GCP pour créer des pipelines de données de classe
  mondiale (en batch & en temps réel) et des services de données
  ● Construire et maintenir une plate-forme en libre-service pour aider les équipes de modélisation de
  données à être aussi autonomes que possible sans avoir à se soucier de l'infrastructure et du
  déploiement
  ● Travaillez côte à côte avec des ingénieurs DevOps, des ingénieurs ML, des Data Scientist et des
  Software Engineers hautement qualifiés pour créer des produits et services de données puissants
  (y compris MLOps) qui amélioreraient vraiment l'expérience de nos clients.
  ● Amélioration des services d'API backend.
  ● Travailler quotidiennement avec une grande base de code Python et Pyspark, trouvant des erreurs
  courantes et de mauvais modèles de données et les corrigeant.
  ● Fournir une architecture de solution dans GCP pour des projets à grande échelle utilisant à la fois le
  des processus de streaming et de batch (axé sur DataProc / Spark)
  ● Rédaction de tests unitaires, d'intégration et de tests de bout en bout.
  ● Extraire et ingérer des données à partir d'une grande variété d'API afin d'enrichir et de soutenir
  l'analyse interne.
  ● Effectuer des modélisations de données et des améliorations architecturales pour permettre une
  exécution optimale et rapide du pipeline de données de production afin de soutenir tous les
  aspects, de la stratégie d'entreprise à l'acquisition d'utilisateurs.
  ● Travailler avec les parties prenantes de l'entreprise en interne, y compris au plus haut niveau, pour
  planifier une feuille de route et conseiller sur la meilleure stratégie de solution cloud qui soit rentable
  et efficace.
  ● Suivre la méthodologie Agile Scrum pour travailler en étroite collaboration avec différentes équipes
  afin de réaliser des sprints dans une approche incrémentale et itérative.
  ● Approche DevOps préconisée et appliquée pour mettre en œuvre des pipelines d'intégration
  continue et de livraison continue (CI/CD).

  _Python 3, SwaggerUI, Google Cloud Platform, BigQuery, Pyspark, PostgreSQL, GCPDatastore, Airflow, Docker, Kubernetes, Terraform, Ansible, JIRA, Git

• Sénior Data Engineer

  Epidemic Sound
  Jan 2020 - Jan 2021

  ● Travailler avec les parties prenantes de l'entreprise en interne et concevoir des modèles de
  données pour soutenir quantitativement tout ce qui va de la stratégie d'entreprise à l'acquisition
  d'utilisateurs.
  ● Modélisation des entrepôts de données et des marts de données et amélioration de l'architecture
  des données pour permettre une exécution optimale et rapide du pipeline de données de
  production.
  ● Construire et concevoir des sources de données robustes et efficaces pour permettre une
  extraction rapide et efficace des données pour l'analyse, les rapports et les tableaux de bord
  ● Configurer et créer des outils d'analyse, à la fois via des logiciels développés en interne et sur
  Google Cloud Platform.
  ● Agir en tant que partie prenante et collaborer avec les équipes d'ingénieurs pour mettre en place
  l'infrastructure et le suivi nécessaires.
  ● Collaborer avec des Data Scientists, des analystes et des ingénieurs ML pour produire des
  solutions qui mettre à jour le business.
  ● Maintenir des normes élevées de qualité logicielle et SRE au sein de l'équipe en établissant de
  bonnes pratiques et habitudes.

  _Python 3, PostgreSQL, Google Cloud Platform, BigQuery, Dataflow, Airflow, Docker,Kubernetes, Terraform, Data Studio, JIRA, Co__