Data Engineer

Wir sind ein spezialisiertes Beratungsunternehmen mit klarem Fokus auf die Databricks Lakehouse Plattform. Aufgrund der steigenden Nachfrage nach modernen Daten- und KI-Lösungen erweitern wir unsere Databricks Kompetenz und suchen erfahrene Experten, die anspruchsvolle Datenplattformen für unsere Kunden konzipieren, entwickeln und betreiben. Bei uns arbeiten Sie in einem hochqualifizierten Team, gestalten technische Entscheidungen aktiv mit und unterstützen Unternehmen bei der Modernisierung ihrer Datenlandschaften. Ihre Aufgabe nKonzeption, Entwicklung und Betrieb produktionsreifer Databricks Lakehouse Lösunge nEntwicklung von Structured Streaming Pipelines mit Python und PySpark kVerantwortung für die Weiterentwicklung von Unity Catalog Governance zur Sicherstellung sicherer, auffindbarer und gut verwalteter Datenbeständ eEntwicklung und Wartung ereignisgesteuerter Datenpipelines in enger Zusammenarbeit mit Backend Engineering Team sImplementierung und Betreuung von CI/CD Pipelines in Azure DevOps für automatisierte und zuverlässige Databricks Deployment sErstellung hochwertiger, analysefähiger Datensätze zur Generierung skalierbarer Business Insight sKontinuierliche Optimierung von Performance, Stabilität, Automatisierung, Monitoring und Observability der Databricks Plattfor mMitarbeit an Architekturentscheidungen und technischen Standard sBetrieb und Optimierung geschäftskritischer Databricks Lösungen in Produktionsumgebunge ilFundierte praktische Erfahrung in der Konfiguration und Verwaltung von Databricks Umgebungen, einschließlich Cluster Management, Dependency Management und Paketinstallati onUmfangreiche Erfahrung mit Azure Databricks in produktiven Enterprise Umgebung enNachweisbare Erfahrung in der Entwicklung von Spark und Databricks Pipelines mit Python und PySpa rkErfahrung in der End to End Implementierung von Databricks Lösung enFähigkeit, Architektur und Designentscheidungen innerhalb von Databricks Plattformen zu treff enTiefgehendes Verständnis von Spark Internals, Performance Optimierung und Cluster Konfigurati onErfahrung im Betrieb geschäftskritischer Databricks Lösung enKenntnisse in Azure DevOps und modernen CI/CD Prozess enSehr gute Kommunikations und Beratungsfähigkeit#J-18808-Ljbffr