Engenheiro de Dados Azure Pleno (Remoto)

Papel na empresa: Construir pipeline de dados entregando modelo de dados nas camadas Bronze, Silver, Gold para o time de negócios ter capacidade de analisar dados e tomar decisoes.

Responsabilidades:
Escrever consultas SQL complexas para realizar tarefas como selecionar, inserir, atualizar e excluir dados de várias tabelas.
Construir pipeline de Dados utilizando Azure Data Factory.
Construir nooteboks em Pyton e SQL utilizando Databricks.
Construir Modern Data Warehouse com Synpase Analytics.
Trabalhar com ingestões de dados em Datalakehouse.
Criar e manipular dataframes e RDDs em PySpark de forma eficiente e escalável.
Usar junções de vários tipos, como junções internas, junções externas e junções naturais.
Usar subqueries de vários tipos, como subqueries de seleção, subqueries de atualização e subqueries de exclusão.
Usar funções agregadas de vários tipos, como funções de agregação de agregação.
Usar SQL com grandes conjuntos de dados.
Usar PySpark para realizar análise de dados exploratória (EDA) de forma eficiente e escalável.
Usar PySpark para gerar modelos de aprendizado de máquina.

Requisitos:
Identificar os principais requisitos de negócios para um modelo de dados complexo.
Projetar um modelo de dados complexo que atenda a esses requisitos.
Implementar um modelo de dados complexo em um banco de dados relacional ou não relacional.
Realizar testes de integridade de dados para garantir que o modelo de dados está funcionando corretamente.
Usar ferramentas de modelagem de dados para projetar e implementar modelos de dados.
Documentar modelos de dados para facilitar a comunicação com outras partes interessadas.

Diferenciais:
Projetar soluções avançadas de aprendizado de máquina utilizando PySpark.
Experiência em projetos complexos de BI.
Conhecimento detalhado dos desafios e oportunidades de Big Data e computação em nuvem.
Experiência em projetos complexos de DB, DW, lake e lakehouse.
Experiência em projetos complexos de ETL.
Profundo entendimento dos conceitos de Azure Data Factory, Synapse, Databricks e Fabric.
Experiência em implementação de pipelines complexos em cenários desafiadores.
Expertise em conceitos avançados de DevOps.
Habilidade de gerenciar projetos de forma eficiente e propor soluções proativas para problemas.

Nossos Incentivos:
1. Auxílio médico;
2. Gympass;
3. Auxílio terapia;
4. Teleatendimento em Nutrição;
5. Seguro de vida;
6. Day off no dia do aniversário;
7. Parceria com instituições de ensino com desconto em cursos (Anhanguera e FIAP);
8. Gameficação interna (troque ações por prêmios);
9. Acesso a nossa plataforma de cursos SideSchool;
10. English Club;
11. Reembolso + Bônus por certificação.

Entre outros
Atuação remota.

Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.