Match score not available

Data Engineer

Remote:

Full Remote

Contract:

Full time

Work from:

Poland

Offer summary

Qualifications:

Minimum 5 years of experience as a Data Engineer., Proficiency in Python and Scala., Experience with Spark and messaging systems., Practical knowledge of Kubernetes..

Key responsabilities:

Develop and maintain ETL platforms and data processing.
Automate CI/CD processes and monitor the platform.

EAGERDEVS.COM TPE https://www.eagerdevs.com

2 - 10 Employees

See all jobs

Job description

Opis roli

Data Engineer będzie odpowiedzialny za projektowanie, budowanie i utrzymywanie infrastruktury, narzędzi i procesów, które umożliwiają organizacji gromadzenie, przechowywanie, przetwarzanie oraz analizowanie dużych wolumenów danych.

Zakres obowiązków

Rozwój i utrzymanie platform ETL oraz przetwarzania danych (Python, Scala, Spark, HDFS, Hive).
Rozwój aplikacji wspierających dostęp do danych dla użytkowników biznesowych (Airflow, JupyterHub, Trino, Superset, MLFlow) z wykorzystaniem Kubernetes, Docker, ArgoCD.
Automatyzacja procesów CI/CD (GitLab-CI).
Monitorowanie platformy (Prometheus).
Badania, rozwój i utrzymanie komponentów platformy.
Realizacja polityk strategicznych związanych z technologiami oraz organizacją pracy.

Wymagania

Minimum 5 lat doświadczenia jako Data Engineer.
Biegłość w programowaniu w Pythonie oraz Scala.
Doświadczenie w pracy z Spark oraz systemami przesyłania komunikatów.
Znajomość Hadoop.
Praktyczna znajomość Kubernetes.
Solidne umiejętności programistyczne i znajomość najlepszych praktyk inżynierii oprogramowania.
Doświadczenie w pracy z systemami kontroli wersji (preferowany Git).
Umiejętność prowadzenia rozmów z klientami, identyfikowania ich potrzeb oraz proponowania rozwiązań.