Data engineer AWS

Nous recherchons un Data engineer AWS. Avec les expertises  Cloud de préférence AWS ; Azure & CGP acceptés / maitrise DEVOPS /Très bonne connaissance du Langage SQL/Machine learning.

Compétences métiers

- Une expérience significative dans le développement en environnement Cloud, de préférence AWS ; Azure & CGP acceptés dans la mesure où l'approche data analytics dans le cloud est maitrisée ;
- Bonnes pratiques DevOps ;
- Manipulation des technologies (connaissances et pas maitrise) et des ressources as-a-service via (*-as-code) ;
- Utilisation collaborative d’un même code source ;
- Manipulation des outils DevOps (Git, Jenkins, Gitlab-CI, Docker, Kubernetes, Ansible, Terraform, Helm…) ;
- Très bonne connaissance du Langage SQL ;
- Connaissance sur les environnements et les problématiques DATA (chaines DataOps, qualité de données, ETL, etc.) :
- Bonne connaissances autour de l'orchestration et scheduling de tâches (Control/M, Apache Airflow, Ooozie, Kubeflow, EMR) ;
- Bonne connaissance des problématiques API (OpenAPI swagger, Jason web token, API management ;
- Maitrise des processus et des outils d'ingestion, transformation et chargement de données (AWS Glue, AWS Lambda, EMR…) ;
- Maitrise des outils data streaming (AWS Kinesis, Kafka…) ;
- Maitrise des bases analytiques et bases NoSQL (Redshift, ElasticSearch, AWS Athena, AWS RDS) ;
- Maitrise du Stockage objet (AWS S3) ;
- Bonne connaissance de la gestion des droits et habilitation sur des supports de données variés (SGBDR, AWS IAM, AWS KMS, Apache Ranger, Sentry) ;
- Gouvernance de la donnée (datalineage, cataloging, Apache Atlas…)
- Machine learning (Spark, services ML AWS, ElasticSearch)

Certifications requires : * au moins une
AWS Solution Architect ;
AWS Database ;
AWS Developer ;
AWS Data Analytics
Méthodologie : Agile SAFe 5.0

Liste des technologies:
Les incontournables technologies nécessaires pour la mission :
- data transfo (AWS Glue, AWS Lambda, EMR…)
- data streaming (AWS Kinesis, Kafka…)
- Bases analytiques et bases NoSQL (Redshift, ElasticSearch, AWS Athena, AWS RDS)
- Langage SQL ;
- Stockage objet (AWS S3) ;
- Bonnes pratiques DevOps ;
- Manipulation des technologies et des ressources as-a-service par programmation (*-as-code)
- Utilisation collaborative d’un même code source

Autres :
Outils DevOps (Git, Jenkins, Gitlab-CI, Docker, Kubernetes, Ansible,
Terraform, Helm…)
Connaissance sur les environnements et les problématiques DATA (chaines
DataOps, qualité de données, ETL, etc.) :
Orchestration et scheduling de tâches (Control/M, Apache Airflow, Ooozie,
Kubeflow, EMR)
API (OpenAPI swagger, Jason web token, API management) ;
Gestion des droits et habilitation sur des supports de données variés
(SGBDR, AWS IAM, AWS KMS, Apache Ranger, Sentry)
Gouvernance de la donnée (datalineage, cataloging, Apache Atlas…)
Machine learning (Spark, services ML AWS, ElasticSearch)