Offer summary

Qualifications:

Practical experience in data engineering with scalable and efficient data pipeline development and maintenance., Proficiency in Apache NiFi, Kafka, Apache Spark, Apache Airflow, Iceberg, Parquet, Trino, and Superset., Solid knowledge of Python and SQL for data processing and manipulation., Familiarity with CI/CD practices, Git versioning, Docker, Kubernetes, and agile methodologies like Scrum and Kanban..

Key responsabilities:

Design, develop, and maintain scalable architectures using Apache Iceberg and Apache Parquet for efficient data storage and processing.

Implement and manage data pipelines with Apache NiFi, Kafka, and Apache Spark, ensuring reliable data ingestion and transformation.

Monitor system performance and data pipelines, identifying and resolving bottlenecks for continuous optimization.

Collaborate with development, data science, and business teams to ensure data infrastructure meets organizational needs.

Job description

Data Engineer

Senioridade: Pleno

Local: Remoto

Estamos em busca de uma Data Engineer para ingressar em nossa nave e juntos, decolar o foguete que impulsiona pessoas para inovar o mundo.

E antes de apresentar a vaga, queremos te mostrar as razões para ser South System:

As +350 pessoas do nosso time nos elegeram 2 vezes uma das melhores empresas para se trabalhar no país (GPTW) e nos deram 4.9 estrelas no Glassdoor e Indeed;
Somos Talent Awards pelo linkedin;
Somos Carbon neutral – contribuímos com a compensação das emissões de carbono;
Estamos operando com oportunidades em home office e também com oportunidades híbridas
Contemplamos benefícios variados como:

Acesso livre a plataforma de cursos Udemy com certificações exclusivas;

Benefício de home office;

Benefício de educação financeira;

Cartão de benefícios flash.

Nosso código de cultura é norteado por atitudes e práticas que fazem parte do nosso dia a dia:

Apoio e incentivo ao crescimento e desenvolvimento das pessoas;

Respeito, lealdade, colaboração e engajamento fazem parte do nosso DNA, cultivamos um ambiente seguro para todos;

Somos diversos e acreditamos no poder da inclusão e da diversidade dos times;

Unimos pessoas e inovação para prover soluções de TI.

Amamos nosso planeta e queremos fazer dele um lugar melhor para as próximas gerações por isso cultivamos diversas ações de sustentabilidade;
Mantemos e apoiamos ações sociais.

Agora, vamos falar dessa oportunidade!

Nossos profissionais atuam em projetos alocados em clientes, ou projetos de fábrica, e todos têm acompanhamento das nossas business partners, com suporte especializado para que tenham um bom desempenho e progresso de carreira, nossas squads são multidisciplinares disponíveis de forma global atuando no modelo home office.

Seu desafio no time:

Projetar, desenvolver e manter arquiteturas escaláveis utilizando Apache Iceberg e Apache Parquet, garantindo eficiência no armazenamento e processamento de dados.
Implementar e gerenciar pipelines de dados com Apache NiFi, Kafka e Apache Spark, assegurando ingestão, transformação e armazenamento de dados de forma confiável e otimizada.
Configurar e administrar pipelines de dados utilizando Apache Airflow, garantindo a execução eficiente e monitorada dos fluxos de dados.
Desenvolver e otimizar processos de transformação de dados com Apache Spark, garantindo escalabilidade e performance em ambientes distribuídos.
Criar e otimizar queries em Trino para melhorar a eficiência das consultas analíticas sobre dados armazenados no formato Iceberg/Parquet.
Implementar políticas e processos para garantir a integridade, qualidade e confiabilidade dos dados em toda a arquitetura.
Assegurar que os dados estejam disponíveis e otimizados para exploração e análise no Apache Superset, proporcionando insights acionáveis para a organização.
Monitorar a performance dos sistemas e pipelines de dados, identificando e resolvendo gargalos para otimização contínua da arquitetura.
Trabalhar de forma colaborativa com times de desenvolvimento, ciência de dados e negócios para garantir que a infraestrutura de dados atenda às necessidades da empresa.

Perfil que buscamos:

Vivência prática em engenharia de dados, com experiência no desenvolvimento e manutenção de pipelines de dados escaláveis e eficientes.
Proeficiência em Apache NiFi, Kafka, Apache Spark, Apache Airflow, Iceberg, Parquet, Trino e Superset.
Sólido conhecimento em Python e SQL para processamento e manipulação de dados.
Experiência com arquiteturas baseadas em data lakes, utilizando Iceberg/Parquet para armazenamento e otimização de consultas analíticas.
Conhecimento em ferramentas de orquestração de dados como Apache Airflow e processamento de streaming utilizando Kafka e Spark Streaming.
Familiaridade com práticas de CI/CD, versionamento com Git, uso de Docker e Kubernetes, além de experiência com metodologias ágeis como Scrum e Kanban.
Capacidade de traduzir desafios de negócios em soluções técnicas e comunicar conceitos técnicos de forma clara e objetiva.
Compromisso com a melhoria contínua e adaptação às novas tecnologias e melhores práticas da área de engenharia de dados.

Além disso, valorizamos a desenvoltura, flexibilidade, automotivação e trabalho em equipe. Defendemos a inclusão e a diversidade, por isso, criamos vagas afirmativas respeitando e priorizando os recortes minoritários em nosso processo de seleção, além de oferecermos núcleos e ações afirmativas dentro da empresa para acompanhamento, inclusão e desenvolvimento de todas as pessoas.

Junte-se a nós e ajude a impulsionar e transformar o mundo!

Required profile