Data Python Engineer

Oportunidade

Estamos à procura de um Senior Python Data Engineer, para uma empresa internacional que desenvolve Data solutions a nível europeu. Esta á crescer muito nos últimos anos e espacialmente na Bélgica e em Portugal estão a desenvolver o seu HUB.

Responsabilidade

Coletamos cerca de 3 TB de dados compactados por mês (20 TB descompactados), se você quiser aprender como isso é feito e os desafios que vêm com isso, aqui está sua chance! Para isso, estamos procurando um Engenheiro de Dados Python Sênior.

Você se juntará à nossa equipe de dados, responsável por padronizar e extrair informações dos dados que coletamos, além de torná-los acessíveis para análises e relatórios. Suas responsabilidades serão uma mistura de software (Python) e engenharia de dados.

Suas responsabilidades nesta função

Você e a equipe trabalharão em conjunto com o proprietário do produto de dados para realizar vários recursos do início ao fim, desde:

Desenvolver novas formas de padronizar ainda mais nossos dados.

Integrar conjuntos de dados de várias fontes (scraping, equipes de campo manuais, conjuntos de dados comprados) e combiná-los em um conjunto de dados fácil de usar para nossos clientes.

Como engenheiro sênior, espera-se que você divida projetos complexos em etapas pequenas / gerenciáveis ​​e se comunique sobre elas, além de definir maneiras de reduzir a incerteza nos projetos.

Você será responsável pela infraestrutura de dados (agendadores, estruturas de computação) que está sendo executada em nossa plataforma K8s (na AWS).

Garantia de qualidade de nossos dados. Somos obcecados pela qualidade dos dados e estamos sempre procurando maneiras de melhorar nossa qualidade.

Requisitos do trabalho

O que nós estamos procurando

• Pelo menos 5 anos de experiência de trabalho relevante em Engenharia de Dados e Software; também valorizamos o conhecimento de Análise de Dados, porém a maioria das tarefas no início serão Engenharia de Software em um contexto de dados.
• Experiência técnica obrigatória (usamos todos os dias):

o Python, pois 99% da nossa pilha está em Python

o SQL

o Git

o Bash

• Experiência tecnológica agradável (usamos todos os dias, por isso é útil se você também os conhece):

o Pandas + notebook Jupyter

o Regex

o CI/CD

o Docker

o Experiência na nuvem (preferencialmente AWS)

o K8S, Terraform

• o inglês técnico fluente é obrigatório. Português não é obrigatório. A maioria dos nossos dados está em holandês, portanto, o conhecimento de holandês é uma vantagem.

oferecemos:

• contrato efetivo, tambén pode reduzir de full time a part time
• planos de carreira e crescimentos profissional
• 100% teletrabalho, mas tem escritório no centro de Lisboa
• Seguro de saúde
• Trabalhar num projeto líder na área de Data

Não perca a oportunidade!!