Engenheiro(a) de Dados Pleno
Offer summary
Qualifications:
Solid experience with AWS services such as S3, IAM, and Lambda., Advanced Python skills for automation and data manipulation., Proficiency in SQL and data modeling for analytical purposes., Experience with pipeline orchestration tools like Airflow or dbt..Key responsibilities:
- Implement and maintain large-scale data ingestion and transformation pipelines.
- Automate data extraction and integration processes, including API consumption.
- Ensure data governance and security through best practices and appropriate tools.
- Support the construction and evolution of the company's data architecture.
Job description
Sobre a Principia
A Principia tem como missão transformar o acesso ao conhecimento e impulsionar o desenvolvimento educacional. Estamos em crescimento e buscamos profissionais que queiram construir algo grande conosco, trazendo inovação e excelência para nossos processos.
Sobre a posição
Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar em nossos processos de ingestão, tratamento e governança de dados. Essa pessoa será responsável por desenvolver pipelines de dados escaláveis, promover boas práticas de engenharia e contribuir com a arquitetura e evolução do nosso ecossistema de dados.
Responsabilidades
-
Implementar e manter pipelines de ingestão e transformação de dados em larga escala
-
Automatizar processos de extração e integração de dados (incluindo consumo de APIs)
-
Garantir a governança e segurança de dados por meio de boas práticas e ferramentas adequadas
-
Participar da modelagem de dados com foco em soluções analíticas
-
Monitorar e manter a performance e a integridade dos dados em diferentes camadas
-
Atuar na orquestração e versionamento dos processos de dados
-
Apoiar a construção e evolução da arquitetura de dados da companhia
Requisitos obrigatórios
-
Experiência sólida com AWS, especialmente:
-
S3 (armazenamento e ingestão de dados)
-
IAM (controle de acessos e permissões)
-
Lambda (execução de funções serverless)
-
-
Python avançado, com foco em automações, integração com APIs e manipulação de dados
-
Proficiência em SQL e modelagem de dados para fins analíticos
-
Experiência com orquestração de pipelines (Airflow ou dbt)
-
Familiaridade com controle de versão via Git e boas práticas de engenharia de software
Diferenciais que contam muitos pontos
-
Experiência com Databricks (uso de notebooks, Delta Lake, Auto Loader, DLT)
-
Vivência com ferramentas adicionais da AWS, como:
-
AWS DMS (Change Data Capture)
-
CloudWatch (monitoramento e alertas)
-
VPC (configuração de rede segura)
-
EC2 (execução de serviços auxiliares)
-
-
Conhecimento em arquitetura de dados em camadas
-
Experiência com dbt Core (modelagem, testes, documentação)
-
Uso de ferramentas de visualização como Metabase ou similares
-
Experiência com CDC em Databricks consumindo dados em S3
-
Interesse ou experiência com Agentic AI (copilotos autônomos, automações com LLMs)
Required profile
Experience
Hard Skills
Related jobs
Vimo
- From: Georgia (USA) (Full Remote)
- Full time
Outfield Healthcare Partners
- Full time
Kalam Customer Experience
- From: Mexico (Full Remote)
- Full time
Wikimedia Foundation
- From: Kenya, Uganda, Israel, Egypt, Greece, Estonia, Finland, Poland, South Africa, Bangladesh, India, Indonesia, Singapore, Australia, Ghana (Full Remote)
- Full time
Meridian Bioscience Inc.
- From: United States (Full Remote)
- Full time