Match score not available

9659 - Engenheiro de Dados Sênior

Remote: 
Full Remote
Contract: 
Work from: 

Offer summary

Qualifications:

Experience with shell scripting (sh/ksh/bash) and programming languages Python 3.x and Scala 2.x., Familiarity with build tools like sbt/maven and IDEs such as IntelliJ/Vs-Code., Knowledge of CI/CD practices and Linux operating system basics., Experience with relational databases (Oracle) and non-relational databases (MongoDB, ElasticSearch)..

Key responsabilities:

  • Develop and maintain data processing systems using Big Data technologies.
  • Integrate systems through REST and SOAP APIs.
  • Manage and optimize database performance and data storage solutions.
  • Collaborate with cross-functional teams to implement data-driven solutions.

Runtalent logo
Runtalent SME https://www.runtalent.it/
501 - 1000 Employees
See all jobs

Job description

Este é um cargo remoto.

Requisitos: ​
Experiência com shell script ( sh/ksh/bash ) ;
Experiência em Linguagem de programação python 3.x e scala 2.X; Paradigma de Linguagem de Programação: Funcional, Procedural e OO. 3;
Ferramentas de build: sbt/maven IDEs Intellij/Vs-Code ;
Ferramentas de gestão de configuração gitlab e git; Conhecimentos de CI/CD ;
Conhecimentos de Linux ( Sistema operacional, comandos básicos, gerenciamento de processos, gerenciamento de arquivos ) ; Conhecimento em Banco de Dados Relacional : Oracle ;
Conhecimento e Experiência em Banco de Dados Não Relacional : Mongodb/ElasticSearch ;
Conhecimento e Experiência em Banco de Dados colunar: HBASE; Integração de Sistemas conhecimento e experiência com APIs REST, APIs Soap;
Dominar os conceitos de Big-Data ( Hadoop, MapReduce, Ingestão de dados;
Processamento de dados e Armazenamento de dados ).

Desejável:
Conhecimentos de conteiner (docker/docker-compose), orquestração de conteiner (K8S, docker-swarm) e Kubernetes; Conhecimentos, experiências e domínio em ecossistema Hadoop: Hive/HUE/Impala/Hbase/Hdfs/Sqoop/Beeline consultas, Armazenamento, Spark2/Spark3 SQL e Streaming, Dataframe Dados estruturados e semiestruturados em forma tabular Operações Transformações e Ações; Formato de Arquivos Parquet, ORC, JSON, CSV, Plain Text YARN/Zookeeper ;
Gerenciamento de Processos Kerberos Autenticação ;
Conhecimentos em Control-M e Cloudera Manager; Conhecimentos em Telecomunicações ( Operadora Móvel/Fixa ).


Required profile

Experience

Spoken language(s):
Portuguese
Check out the description to know which languages are mandatory.

Related jobs