Conception d'une plateforme GCP/Azure Cloud et création de pipelines d'ingestion et d'exposition de données
Établissement de bonnes pratiques et lancement d'un Datalab et un accompagnement à l'industrialisation des algorithmes pour les usages métiers.
Gestion de l'ensemble des processus d'ingestion et de préparation des datasets pour alimenter des tableaux de bord
Assistance à la création et à l'exploitation d'une Data Factory et mise à disposition des données qualifiées pour différents cas d'utilisation métiers.
- Azure (Data Factory, Synapse, ADLS, Databricks)
- Google GCP (BigQuery, Composer, Data Studio)
- Maîtrise de SQL et Python.
- Expérience avec Spark et PySpark.
- Utilisation de Airflow, Kafka, Jenkins.
- Compétences DevOps, Git, CI/CD…
- Familiarité avec OpenShift, Docker, Kubernetes.
- Compétences en data visualisation.
- Connaissance des bases NoSQL.
- Certification Data Engineer (Azure Data Engineer, Google Professional Data Engineer ou Snowflake SnowPro).