Offer summary

Qualifications:

Proven experience in data engineering, Expertise in building data pipelines, Strong understanding of Azure services, Advanced SQL and Python skills, Experience with Medallion Lakehouse Architecture.

Key responsabilities:

Design and maintain scalable data pipelines

Build and manage a new data hub

Implement ETL/ELT processes workflows

Collaborate with analysts and data teams

Optimize data pipelines for performance

Job description

Wir suchen für unseren Kunden einen erfahrenen Data Engineer (w/m/d). Dieser kümmert sich um den Aufbau einer neuen Datendrehscheibe unter Verwendung der Medallion Lakehouse Architecture und deren Integration mit Dashboards für Business Intelligenz.

Projektdetails

Laufzeit: asap - 31.03.25 (mit Option auf Verlängerung)

Auslastung: Fulltime

Das Projekt kann zu 100% Remote durchgeführt werden.

Lediglich vereinzelte Tage (zu wichtigen Meetings) wären vor Ort in Nürnberg abzuleisten.

Projektbeschreibung

Entwurf, Entwicklung und Pflege skalierbarer Datenpipelines zur Einspeisung in Unternehmens-Dashboards.
Aufbau und Verwaltung einer neuen Datendrehscheibe auf der Grundlage der Medallion Lakehouse-Architektur zur Organisation und Strukturierung und Strukturierung von Daten für verschiedene Ebenen: Bronze (Rohdaten), Silber (bereinigte Daten) und Gold (aggregierte Daten).
Implementierung von ETL/ELT-Prozessen und Datenintegrations-Workflows.
Enge Zusammenarbeit mit Analysten, Datenwissenschaftlern und Geschäftsteams, um sicherzustellen, dass die Daten Daten verfügbar, genau und für die Analyse vorbereitet sind.
Umfassende Arbeit mit Azure Data Factory, einschließlich Kopieraktivitäten und Datenflüssen, um eine effiziente und nahtlose Datenbewegung zu gewährleisten.
Optimierung und Fehlerbehebung von Datenpipelines hinsichtlich Leistung, Skalierbarkeit und Datenzuverlässigkeit.
Entwerfen und implementieren Sie Datenlösungen für Dashboards, die Einblicke in Echtzeit bieten.

Skills

Erforderliche Qualifikationen:

Fachwissen im Bereich Data Engineering: Nachgewiesene Erfahrung im Aufbau und der Optimierung von Datenpipelines und Datenarchitekturen.
Gute Kenntnisse in Python für Datenmanipulation, Automatisierung und Skripterstellung. Fortgeschrittene SQL-Kenntnisse für Abfragen, Datentransformation und -optimierung.
Tiefes Verständnis der Azure-Cloud-Dienste
Azure Data Factory: Erfahrung in der Verwendung von Kopiervorgängen und Datenflüssen für die Datenumwandlung und Bewegung.
Erfahrung mit Medallion Lakehouse Architecture (Bronze, Silver, Gold) zur Strukturierung und Verwaltung großer Datenmengen.

Bevorzugte Qualifikationen

Erfahrung in der Arbeit mit Business Intelligence-Tools und Dashboards.
Kenntnisse in den Bereichen Data Warehousing, Data Lakes und Big Data-Technologien.
Erfahrung mit Cloud-basierten Datenplattformen, insbesondere in der Microsoft Azure-Umgebung.
Ausgeprägtes Verständnis von ETL/ELT-Prozessen und der Optimierung von Datenpipelines.
Ausgezeichnete Kommunikations- und Problemlösungsfähigkeiten
Erfahrung in agilen Arbeitsumgebungen und ein starkes praktisches, unterstützendes und kollaboratives Denkweise

Required profile