Minimum 5 years of experience as a Big Data Programmer., Experience with at least 3 projects involving large data sets., Proficiency in Python and SQL programming languages., Familiarity with Apache Spark, Airflow, and Hadoop technologies..
Key responsabilities:
Processing and analyzing large data sets using Apache Spark.
Designing, implementing, and optimizing ETL/ELT processes.
Collaborating with analytical and business teams to define requirements.
Implementing and managing CI/CD processes for code deployment.
Report This Job
Help us maintain the quality of our job listings. If you find any issues with this job post, please let us know.
Select the reason you're reporting this job:
Detable Sp. z o.o.
51 - 200
Employees
About Detable Sp. z o.o.
Programujemy pomysły
Kierujemy się prostymi zasadami, dzięki którym proponujemy naszym klientom efektywniejsze rozwiązania, postępujemy zgodnie z własnymi przekonaniami i uczciwie wspieramy biznesowy rozwój naszych kontrahentów.
Nasze usługi:
- Outsourcing specjalistów IT
- System Development
- Obsługa Helpdesk oraz Monitoring Systemów
Dołącz do Detable Sp. Z o.o. - prężnie rozwijającej się firmy, która stawia na długofalową współpracę z doświadczonymi profesjonalistami. Od ponad 2 lat jesteśmy partnerem dla instytucji z sektora publicznego, współpracujemy m.in. z Centrum e-zdrowia, Aplikacjami Krytycznymi Ministerstwa Finansów, Głównym Urzędem Nadzoru Budowlanego, Urzędem Do Spraw Cudzoziemców, Narodowym Funduszem Zdrowia i wieloma innymi.
Nasi konsultanci pracują nad rozwojem aplikacji i systemów, z których korzystają miliony Polaków! Z sukcesem działamy na rzecz informatyzacji polskiej służby zdrowia. Bierzemy udział w rozwijaniu systemu e-zdrowie -P1 (e-recepty, gabinet gov.pl, KSO – krajowa sieć onkologiczna) a także e-krew oraz RIZM - Centralny Rejestr Osób Uprawnionych do Wykonywania Zawodu Medycznego.
Możemy pochwalić się także udziałem w realizacji kluczowych projektów w obszarze finansowym, takich jak KSeF - Krajowy System e-Faktur, JSP - Jednolity System Podatkowy.
Jeśli chcesz pracować nad aplikacjami, z których będziesz potem korzystać w codziennym życiu, dołącz do naszego zespołu jako Programista Big Data.
Ta rola jest właśnie dla Ciebie jeśli:
posiadasz minimum 5 lat doświadczenia w pracy na stanowisku Programista Big Data;
możesz pochwalić się realizacją minimum 3 projektów przetwarzających bardzo duże zbiory danych;
umiesz programować w języku Python;
nie jest Ci obca praca w środowisku obliczeniowym on-premise;
na co dzień pracujesz w środowisku Apache Spark;
SQL nie ma przed Tobą tajemnic;
znasz Apache Airflow i zagadnienia Hadoop;
miałeś okazję pracować w obszarze Hurtowni Danych;
posiadasz doświadczenie w obszarze ochrony zdrowia;
biegle posługujesz się językiem polskim;
możesz przedstawić następujące certyfikaty: Agile PM lub równoważny, Airflow Fundamentals lub równoważny, Dag Authoring lub równoważny, Spark Developer Associate lub równoważny, W3Schools SQL Certificate lub równoważny.
Jeśli dołączysz do naszego zespołu Twoim zadaniem będzie:
przetwarzanie i analiza dużych zbiorów danych:
projektowanie, implementacja i optymalizacja procesów przetwarzania miliardowych zbiorów danych,
wykorzystywanie technologii Apache Spark do równoległego przetwarzania danych,
tworzenie i zarządzanie przepływami danych w Apache Airflow.
tworzenie i rozwój procesów ETL/ELT:
projektowanie i implementacja procesów integracji danych,
automatyzacja oraz optymalizacja przepływów danych w oparciu o Apache Airflow,
monitorowanie, diagnostyka oraz utrzymanie procesów przetwarzania danych,
programowanie w Python i SQL:
implementacja skryptów w języku Python do analizy i transformacji danych,
tworzenie i optymalizacja zapytań SQL dla hurtowni danych,
integracja kodu z innymi systemami oraz dostosowywanie go do wymagań biznesowych,
zarządzanie i utrzymanie środowiska obliczeniowego on-premise:
konfiguracja i optymalizacja środowiska Hadoop oraz powiązanych technologii,
praca w środowisku lokalnym, zapewniająca stabilność i wydajność systemu,
udział w projektach analizy i przetwarzania danych:
współpraca z zespołami analitycznymi i biznesowymi w celu określenia wymagań,
implementacja rozwiązań wspierających raportowanie i analizę danych,
tworzenie dokumentacji technicznej dotyczącej przetwarzanych danych i procesów,
implementacja i zarządzanie procesami CI/CD:
wdrażanie oraz utrzymanie procesów ciągłej integracji i wdrażania kodu,
użycie systemu kontroli wersji Git do zarządzania kodem źródłowym,
współpraca i rozwój osobisty:
aktywna współpraca w zespołach projektowych i scrumowych,
uczestnictwo w procesach planowania, estymacji i doskonalenia procesów,
stałe podnoszenie kwalifikacji i poszerzanie wiedzy w obszarze Big Data.
Z Naszej Strony Możesz Liczyć Na
konkurencyjne wynagrodzenie w oparciu o kontrakt B2B (140 – 155 pln netto/h);
długofalową współpracę opartą o wzajemny szacunek i partnerstwo;
dedykowanego opiekuna kontraktu po stronie Detable;
możliwość 100% pracy zdalnej lub z naszego biura w Białymstoku;
możliwość podnoszenia swoich kwalifikacji poprzez skorzystanie z budżetu szkoleniowego;
realny wpływ na rozwój projektu;
atrakcyjny program poleceń pracowniczych;
zdalny proces rekrutacji.
Jak wygląda u nas proces rekrutacji?
rozmowa HR z naszą IT Rekruterką;
weryfikacja umiejętności technicznych przez naszego Lidera technicznego;
spotkanie z klientem;
decyzja i rozpoczęcie współpracy😊
Required profile
Experience
Spoken language(s):
Polish
Check out the description to know which languages are mandatory.