Data Engineer (m/w/d) für BI Plattform-Erneuerung

Gutenbergstraße 20, 30823 Garbsen, Deutschland

Data Engineer (m/w/d) für BI Plattform-Erneuerung

Unser Projekt

Wir suchen jemanden, der uns bei unserem Data-Engineering und unseren Vorhaben im Bereich Business Intelligence im Rahmen eines großen Replatforming-Projekts unterstützt.

Eine wachsende Zahl von Geschäftsbereichen mit schnell wachsenden Datenmengen erfordert ein grundsätzliches Überdenken unserer Datenplattform und die schrittweise Erschließung neuer Wege zur Erfassung, Bereinigung und Analyse endloser Datenströme.

Die meisten unserer Analysemodelle laufen derzeit auf Clicdata, das wiederum Azure SQL Server für alle Phasen der Datenverarbeitung nutzt.


Für die Replatforming-Arbeiten verwenden wir:

  • Big Query, kürzlich gestartet, für Workloads, die ClicData nicht bewältigen kann

  • Airflow, für die Batch-basierte Integration und Transformation sowie für die Qualitätsüberwachung

  • Pyhton/Flask-basierte APIs, um unsere Datenprodukte anderen Teilen der Organisation anzubieten

  • Kafka-basierte Streaming-Dienste für die Anbindung nachgelagerter Anwendungen, die unmittelbare Datenaufnahme und Echtzeit-Analysen

  • Superset für explorative Datenanalyse


Freu Dich auf

        Eine neue, cloudbasierte Systemlandschaft
        Viel Handlungsspielraum, flache Hierarchien
        Fachbereichsübergreifendes Team mit weiteren Data Engineers und Controllern
        Spannende Technologien, unter anderem BigQuery, Python, SQL und Airflow
        Neue Projekte zur Echtzeitanalyse mit Technologien wie Kafka und streambasierter Analyse
        Top Arbeitgeber - zertifiziert vom Deutschen Institut für Qualitätsstandards e.V.
        Interne Trainings und Angebote zur Persönlichen Weiterentwicklung
        Betriebliche Altersvorsorge / Vermögenswirksame Leistungen
        24-Stunden-Unfallversicherung für jegliche Unfälle
        Corporate Benefits
        Entwicklungsperspektive zum Teamleiter
        Jeden Tag kostenlos frisches Obst aus der Region und guten Kaffee  

        Aufgaben und Resultate:

        • Arbeit an bestehenden Datenpipelines und Erstellung neuer Datenpipelines im bestehenden Toolset (ClicData, Azure SQL Server, Airflow, BigQuery)

        • Gestaltung neuer Arbeitsweisen für die kontinuierliche Erhebung, Bereinigung, Harmonisierung und Analyse endloser Datenströme aus verschiedenen Quellen

        • Identifizierung von Engpässen in den aktuellen ClicData-basierten Implementierungen und Überarbeitung der SQL-basierten Pipelines, um die Leistung zu verbessern und Verarbeitungsverzögerungen zu reduzieren (derzeit dauert ein vollständiger Pipeline-Lauf 3-4 Stunden)

        • Neuerstellung, Implementierung und Dokumentation neuer (konzeptioneller) Modelle für neue Anwendungsfälle

        • - Automatisierung von Datenqualitätstests und Prozessen, um sicherzustellen, dass bei Problemen mit Daten Maßnahmen ergriffen werden

        • Vorbereiten, Überwachen und kontinuierliches Verfeinern von Datenprodukten für die Nutzung durch Daten-Analysten oder Data Scientists

        • Betrieb der kontinuierlichen Bereitstellung durch Versionskontrolle und automatische Tests und Deployments

        Erforderliche Berufserfahrung

        • Mindestens 1 Jahre Erfahrung mit Advanced SQL in einer beliebigen großen Datenbank

        • Mindestens 1 Jahre Erfahrung mit Python im Bereich Datenverarbeitung und APIs

        • Erfahrung mit codebasierten ETL-Pipelines (Airflow, Dagster, Prefect oder ähnliches)

        • Grundkenntnisse im Cloud-basierten Hosting mit Docker und Kubernetes

        Wünschenswerte weitere Eigenschaften

        • Erfahrung mit Streaming-basierter Datenerfassung und Datenverarbeitung mit Tools wie Kafka, Google PubSub, Amazon Kinesis oder Azure EventGrid

        • Erfahrung mit Big Data-Analysen, vorzugsweise Stream-Analysen, mit Tools wie Flink, Spark Structured Streaming oder Apache Beam

        • Erfahrung mit Data Warehouse-Technologie wie Big Query, Snowflake oder Redshift


        Deine persönliche Ansprechperson

        Helen Roth freut sich auf Deine Onlinebewerbung. Das Recruiting wird von ALPHATOP HR GmbH übernommen. Hier erfährst Du mehr über die Verarbeitung Deiner Daten.

        Data Engineer (m/w/d) für BI Plattform-Erneuerung

        Helen Roth

        Tel: +49 7191 22081-13

        Gutenbergstraße 20, 30823 Garbsen, Deutschland

        Worauf wartest Du?

        Du hast Interesse an dieser Stelle? Bewerbe Dich jetzt online.
        Gemeinsam finden wir heraus, wie gut die Stelle zu Dir passt.

        // OMS Prüfservice als Arbeitgeber

        Unsere motivierte Mitarbeiter bestimmen unseren Erfolg

        OMS Prüfservice im Profil

        OMS Prüfservice ist eines der führenden Unternehmen für elektrische Sicherheit. Unsere Mission ist, Deutschlands Arbeitsplätze sicherer zu machen.

        Unsere Werte bilden das Fundament für unser Denken und Handeln.

        Werte und Kultur

        Unsere Werte bilden das Fundament für unser Denken und Handeln. Sie begleiten uns in unserem Alltag, prägen unser Tun und sind die Grundlage für die hohe Qualität unserer Leistungen.

        OMS wurde mit "Great Place to Work" als einer der besten Arbeitgeber in Deutschland ausgezeichnet

        Ausgezeichneter Arbeitgeber

        Wesentlicher Bestandteil der Erfolgsgeschichte von OMS sind die Mitarbeiter. Das bestätigen Auszeichnungen wie "Great Place to Work" und Kununu. Was sagen Andere über uns?