Match score not available

Engenheiro de Dados Senior

Remote:

Full Remote

Contract:

Freelance

Salary:

19 - 19K yearly

Experience:

Senior (5-10 years)

Work from:

Brazil

Offer summary

Qualifications:

Solid experience with Databricks and PySpark, Proficiency in SQL for large data volumes, Experience with distributed data architectures, Familiarity with cloud architecture (AWS), Experience with version control tools (Git).

Key responsabilities:

Develop, optimize, and maintain scalable data pipelines
Integrate different data sources and implement ingestion strategies
Ensure data quality and automate monitoring processes
Document implemented solutions and architectures
Adhere to data security and governance practices

Base

11 - 50 Employees

See more Base offers

Job description

Quem somos nós…

Somos a Fiabilité e desde 2016 atuamos no mercado de tecnologia de dados aplicando nossa expertise em negócios presentes em 10 estados brasileiros.

O nosso portfólio de serviços oferece aos nossos clientes soluções efetivas para tomada de decisões estratégicas, maior controle e rentabilização dos meios de pagamentos e redução dos riscos das operações.

Vamos juntos explorar um universo de soluções para ir além!

Estamos esperando por você!

Responsabilidades e Atribuições:

Será responsável pelo desenvolvimento, otimização e manutenção de pipelines de dados em larga escala, utilizando a plataforma Databricks, garantindo a eficiência e qualidade dos processos de tratamento de dados.
Projetar, desenvolver e manter pipelines de ETL/ELT utilizando Databricks, PySpark e Delta Lake.
Trabalhar em colaboração com cientistas de dados, analistas de negócios e engenheiros de software para fornecer soluções de dados escaláveis.
Integrar diferentes fontes de dados e implementar estratégias de ingestão e processamento de dados em tempo real e em batch.
Garantir a qualidade dos dados e a automação de processos de monitoramento e validação de dados.
Otimizar pipelines de dados para melhorar desempenho, escalabilidade e custo. Implementar práticas de segurança e governança de dados, garantindo conformidade com políticas internas e regulamentações. Documentar soluções e arquiteturas implementadas para uso e referência futura.
Utilizar o Databricks Workspace para modelagem e orquestração de processos.

Para Este Desafio, é Necessário:

- Experiência sólida com Databricks e desenvolvimento de pipelines com PySpark.
- Proficiência em SQL para manipulação de grandes volumes de dados.
- Experiência com arquiteturas de dados distribuídas (Data Lakes, Delta Lake). Conhecimentos sólidos em Spark para processamento em larga escala.
- Experiência com linguagens de programação como Python.
- Experiência com ferramentas de automação de pipeline de dados (CI/CD). Habilidade em otimizar processamento de dados para desempenho e custo.
- Familiaridade com arquitetura de nuvem (AWS) / Databricks na AWS.
- Experiência com ferramentas de versionamento de código (Git). Conhecimento em ferramentas de orquestração de dados como Apache Airflow ou Databricks Jobs.

Diferenciais:

Experiência com arquiteturas de Lakehouse. Certificação em Databricks ou Big Data.
Experiência com MLflow e integração de dados para machine learning. Conhecimento em Power BI ou outras ferramentas de visualização de dados.
Habilidade para liderar e treinar outros membros da equipe no uso de Databricks. Experiência com APIs e integração de dados de fontes externas.