Offer summary

Qualifications:

Bachelor's degree in Computer Science, Data Engineering, or a related field., Proficiency in SQL and experience with complex queries., Experience with Azure Data Factory, Databricks, and Synapse Analytics., Familiarity with PySpark for data manipulation and machine learning..

Key responsibilities:

Build data pipelines delivering data models in Bronze, Silver, and Gold layers.

Write complex SQL queries for data manipulation across multiple tables.

Create and manage dataframes and RDDs in PySpark efficiently.

Design and implement complex data models based on business requirements.

Job description

Papel na empresa: Construir pipeline de dados entregando modelo de dados nas camadas Bronze, Silver, Gold para o time de negócios ter capacidade de analisar dados e tomar decisões.

Responsabilidades:
Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.
Construir pipeline de Dados utilizando Azure Data Factory.
Construir nooteboks em Pyton e SQL utilizando Databricks.
Construir Modern Data Warehouse com Synpase Analytics.
Trabalhar com ingestões de dados em Datalakehouse.
Criar e manipular dataframes e RDDs em PySpark de forma eficiente e escalável.
Usar junções de vários tipos, como junções internas, junções externas e junções naturais.
Usar subqueries de vários tipos, como subqueries de seleção, subqueries de atualização e subqueries de exclusão.
Usar funções agregadas de vários tipos, como funções de agregação de agregação.
Usar SQL com grandes conjuntos de dados.
Usar PySpark para realizar análise de dados exploratória (EDA) de forma eficiente e escalável.
Usar PySpark para gerar modelos de aprendizado de máquina.

Requisitos:
Identificar os principais requisitos de negócios para um modelo de dados complexo.
Projetar um modelo de dados complexo que atenda a esses requisitos.
Implementar um modelo de dados complexo em um banco de dados relacional ou não relacional.
Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.
Usar ferramentas de modelagem de dados para projetar e implementar modelos de dados.
Documentar modelos de dados para facilitar a comunicação com outras partes interessadas.

Diferenciais:
Projetar soluções avançadas de aprendizado de máquina utilizando PySpark.
Experiência em projetos complexos de BI.
Conhecimento detalhado dos desafios e oportunidades de Big Data e computação em nuvem.
Experiência em projetos complexos de DB, DW, lake e lakehouse.
Experiência em projetos complexos de ETL.
Profundo entendimento dos conceitos de Azure Data Factory, Synapse, Databricks e Fabric.
Experiência em implementação de pipelines complexos em cenários desafiadores.
Expertise em conceitos avançados de DevOps.
Habilidade de gerenciar projetos de forma eficiente e propor soluções proativas para problemas.

Atuação remota - Contrato de 3 meses.
Contratação PJ - horista.

Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.

Required profile