Match score not available

Engenheiro(a) de Dados Pleno | AB InBev (Bees)

Remote:

Full Remote

Contract:

Full time

Experience:

Mid-level (2-5 years)

Work from:

Brazil

Offer summary

Qualifications:

Degree in Computer Science or similar, Intermediate English proficiency, Experience with data pipeline concepts, Proficient in Python, PySpark, Scala, SQL, Familiar with cloud platforms like AWS, Azure, Google Cloud.

Key responsabilities:

Implement ETL/ELT solutions for data integration
Design and maintain data pipelines for processing large volumes
Collaborate to ensure data security and compliance
Optimize performance and scalability of data processing systems

INTERA | Talent Hacking

51 - 200 Employees

See more INTERA | Talent Hacking offers

Job description

Pleno | CLT | Remoto

No BEES, nossa ambição é – e sempre será – colocar nosso cliente no centro de tudo o que fazemos. Tornando sua vida mais fácil e seu negócio mais lucrativo. Por meio da nossa plataforma de e-commerce e SaaS B2B, levamos o poder do digital para pequenos e médios varejistas e para as empresas que os atendem, criando oportunidades de crescimento para todos. Estamos presentes em 25 países e contamos com 3.8 milhões de usuários ativos mensais. E queremos que você faça parte disso!

Responsabilidades:

Implementar soluções ETL/ELT e integração de dados entre vários sistemas e fontes de dados.
Conceber, implementar e manter pipelines de dados para ingerir, armazenar e processar grandes volumes de dados.
Colaborar com outras equipes para garantir a segurança e a conformidade dos dados.
Conceber, desenvolver e implementar soluções para otimizar o desempenho e a escalabilidade dos sistemas de processamento de dados.

Requisitos:

Graduação em Ciências Informáticas, Engenharia Informática, Sistemas de Informação, Análise de Desenvolvimento de Sistemas ou similar (se você tiver um mestrado ou doutorado é um plus).
Inglês Intermediário (confortável para conversação).
Aplicar conhecimentos sobre conceitos e ferramentas de pipeline de dados para implementar tarefas de transformação, limpeza e agregação de dados.
Utilizar estruturas e bibliotecas de pipeline de dados para automatizar tarefas de processamento de dados e otimizar fluxos de trabalho.
Seguir as melhores práticas de desenvolvimento de pipelines de dados, incluindo controle de versões, testes e documentação.
Aplicar competências de programação em Python, PySpark, Scala e SQL para manipular e transformar dados de forma eficaz.
Compreender e utilizar plataformas e serviços de computação em nuvem oferecidos por fornecedores como AWS, Azure e Google Cloud.
Desenvolver pipelines de dados utilizando estruturas de orquestração (por exemplo, Apache Airflow, Luigi, Mage, Databricks Workflows), integrando com PySpark e/ou Scala, conforme necessário.
Compreender e aplicar princípios de conceção de software a projectos de engenharia de dados.
Aplicar técnicas de modelagem de dados para conceber modelos de dados eficientes e escaláveis.
Otimizar o desempenho das consultas PySpark e SQL, tendo em conta o volume de dados, a complexidade das consultas e os recursos do sistema.
Utilizar ferramentas de dados para ingestão, transformação, análise e visualização.

⚠️ Importante: este profissional precisa residir no estado de São Paulo. ⚠️