Ref: DatPy/Dal

Data Python Engineer

Portugal

Job description

Data Python Engineer

DatPy/Dal



Oportunidade

Estamos à procura de um Senior Python Data Engineer, para uma empresa internacional que desenvolve Data solutions a nível europeu. Esta á crescer muito nos últimos anos e espacialmente na Bélgica e em Portugal estão a desenvolver o seu HUB.

Responsabilidade

Coletamos cerca de 3 TB de dados compactados por mês (20 TB descompactados), se você quiser aprender como isso é feito e os desafios que vêm com isso, aqui está sua chance! Para isso, estamos procurando um Engenheiro de Dados Python Sênior.

Você se juntará à nossa equipe de dados, responsável por padronizar e extrair informações dos dados que coletamos, além de torná-los acessíveis para análises e relatórios. Suas responsabilidades serão uma mistura de software (Python) e engenharia de dados.

Suas responsabilidades nesta função
  • Você e a equipe trabalharão em conjunto com o proprietário do produto de dados para realizar vários recursos do início ao fim, desde:
  • Desenvolver novas formas de padronizar ainda mais nossos dados.
  • Integrar conjuntos de dados de várias fontes (scraping, equipes de campo manuais, conjuntos de dados comprados) e combiná-los em um conjunto de dados fácil de usar para nossos clientes.
  • Como engenheiro sênior, espera-se que você divida projetos complexos em etapas pequenas / gerenciáveis ​​e se comunique sobre elas, além de definir maneiras de reduzir a incerteza nos projetos.
  • Você será responsável pela infraestrutura de dados (agendadores, estruturas de computação) que está sendo executada em nossa plataforma K8s (na AWS).
  • Garantia de qualidade de nossos dados. Somos obcecados pela qualidade dos dados e estamos sempre procurando maneiras de melhorar nossa qualidade.



  • Requisitos do trabalho

    O que nós estamos procurando
    • Pelo menos 5 anos de experiência de trabalho relevante em Engenharia de Dados e Software; também valorizamos o conhecimento de Análise de Dados, porém a maioria das tarefas no início serão Engenharia de Software em um contexto de dados.
    • Experiência técnica obrigatória (usamos todos os dias):


    o Python, pois 99% da nossa pilha está em Python

    o SQL

    o Git

    o Bash
    • Experiência tecnológica agradável (usamos todos os dias, por isso é útil se você também os conhece):


    o Pandas + notebook Jupyter

    o Regex

    o CI/CD

    o Docker

    o Experiência na nuvem (preferencialmente AWS)

    o K8S, Terraform
    • o inglês técnico fluente é obrigatório. Português não é obrigatório. A maioria dos nossos dados está em holandês, portanto, o conhecimento de holandês é uma vantagem.


    oferecemos:
    • contrato efetivo, tambén pode reduzir de full time a part time
    • planos de carreira e crescimentos profissional
    • 100% teletrabalho, mas tem escritório no centro de Lisboa
    • Seguro de saúde
    • Trabalhar num projeto líder na área de Data


    Não perca a oportunidade!!