Auf einen Blick
- Aufgaben: Entwickle eine moderne Datenplattform und baue skalierbare Pipelines für große Datenmengen.
- Unternehmen: Innovatives Unternehmen mit einem dynamischen, remote-freundlichen Arbeitsumfeld.
- Vorteile: Vollständige Remote-Arbeit, technische Verantwortung und ein modernes Technologie-Stack.
- Weitere Informationen: Internationale Zusammenarbeit und Möglichkeiten zur beruflichen Weiterentwicklung.
- Warum dieser Job: Gestalte die Zukunft der Datenverarbeitung und habe direkten Einfluss auf Produkte und Wachstum.
- Qualifikationen: Erfahrung in der Datenverarbeitung, Python-Kenntnisse und Teamarbeit sind erforderlich.
Das prognostizierte Gehalt liegt zwischen 90000 - 110000 CHF pro Jahr.
Diese Position wird im Auftrag eines Partnerunternehmens ausgeschrieben, das alle Bewerbungen und nächsten Schritte verwaltet. Unser Partner sucht einen Senior Data Engineer mit Sitz in der Schweiz.
Als Senior Data Engineer übernehmen Sie die Verantwortung für die Datenplattform, gestalten deren Architektur und gewährleisten eine zuverlässige Leistung von der Entwicklung bis zur Produktion. Sie bauen skalierbare Pipelines, die große Datenmengen aus APIs, Webhooks, Dateien und Web-Scraping in vertrauenswürdige, produktbereite Informationen umwandeln. Eine wichtige Priorität wird es sein, bestehende sequenzielle Workflows in eine moderne Plattform zu entwickeln, die gleichzeitige Verarbeitung, ereignisgesteuerte Eingabe und orchestrierte Batch-Ausführung unterstützt.
Sie werden robuste Datenqualitätsstandards, widerstandsfähige Wiederherstellungsmechanismen und transparente Datenherkunft etablieren, um Genauigkeit und Konsistenz in großem Maßstab sicherzustellen. Sie arbeiten mit Technologien wie Python, PostgreSQL, dbt und Google Cloud Platform und integrieren externe Datenquellen sowie KI-gestützte Extraktionsfähigkeiten.
Diese vollständig remote Möglichkeit bietet umfassende technische Verantwortung, die Freiheit, die grundlegende Dateninfrastruktur zu gestalten, und die Chance, einen direkten Einfluss in einer kollaborativen, schnelllebigen Ingenieurumgebung zu haben.
Verantwortlichkeiten
- Eigentum an der Datenplattform-Architektur: Entwerfen, bauen und betreiben Sie eine produktionsreife Datenplattform von der anfänglichen Architektur über die Bereitstellung, Optimierung und laufende Wartung.
- Entwicklung von Multi-Source-Ingestion-Pipelines: Entwickeln Sie gleichzeitige Eingabesysteme für Anbieter-APIs, Webhooks, Dateien und Web-Scraping unter Berücksichtigung von Ratenbegrenzung, Fehlerbehandlung und zuverlässiger Verarbeitung in großem Maßstab.
- Entwicklung von Batch- und ereignisgesteuerten Workflows: Implementieren Sie geplante Pipelines, historische Backfills und Abhängigkeitsmanagement mit Orchestrierungstools wie Airflow, Dagster oder Prefect.
- Sicherstellen einer zuverlässigen Fehlerwiederherstellung: Implementieren Sie Wiederholungen, Dead-Letter-Queues, kontrollierte Wiedergabemechanismen und idempotente Upserts, um sich von Fehlern zu erholen, ohne doppelte Datensätze zu erzeugen oder Daten zu beschädigen.
- Einrichtung einer Roh-zu-kuratierten Datenarchitektur: Bewahren Sie die ursprünglichen Quellpayloads, einschließlich Anbieter-JSON, in Google Cloud Storage (GCS) auf, und transformieren und standardisieren Sie Daten mit dbt.
- Stärkung der Datenqualität und -governance: Definieren Sie Datenverträge, automatisierte Validierungsregeln, Pipeline-Tests, Aufbewahrungsrichtlinien und Überwachungssysteme zur Verfolgung der Datenfrische, Verarbeitungsfehler und der allgemeinen Zuverlässigkeit.
- Optimierung der Datenbankleistung: Entwerfen und pflegen Sie PostgreSQL-Schemas, Abfragen und inkrementelle Ladeverfahren, um eine effiziente Verarbeitung und zuverlässige Datenlieferung an nachgelagerte Produkte sicherzustellen.
- Integration von Anreicherung und KI-Extraktion: Integrieren Sie Drittanbieter-Anreicherungsanbieter und strukturierte Extraktion aus Text mithilfe großer Sprachmodelle (LLM) in die Datenplattform.
- Sicherstellen der Datenverfolgbarkeit: Halten Sie eine klare Herkunft zwischen Quelldaten und kuratierten Datensätzen aufrecht, um sicheres Reprocessing, historische Wiederherstellung, Audits und konsistentes Datenmanagement zu ermöglichen.
- Förderung kontinuierlicher Verbesserungen: Identifizieren Sie Möglichkeiten zur Verbesserung von Durchsatz, Zuverlässigkeit, Wartbarkeit und Infrastruktur-Effizienz, während Sie die Plattform an sich entwickelnde Geschäfts- und Produktbedürfnisse anpassen.
Anforderungen
- End-to-End-Datenengineering-Erfahrung: Nachweisliche Erfahrung im Aufbau produktionsreifer Datenplattformen von Grund auf, einschließlich Architektur, Pipeline-Implementierung, Bereitstellung, Überwachung und laufenden Betrieb.
- Workflow-Orchestrierung: Praktische Erfahrung mit Airflow, Dagster, Prefect oder Temporal, einschließlich Workflow-Abhängigkeiten, Wiederholungen, Planung und Fehlerwiederherstellung. Erfahrung mit Airflow ist bevorzugt.
- Google Cloud und dbt: Praktische Erfahrung mit Google Cloud Platform (GCP) und dbt, einschließlich Datenumwandlung, Pipeline-Management und cloudbasierter Dateninfrastruktur.
- Ereignisgesteuerte Architektur: Erfahrung in der Entwicklung asynchroner, ereignisgesteuerter Systeme unter Verwendung von Messaging-Plattformen oder Aufgabenwarteschlangen, mit einem starken Verständnis für gleichzeitige Verarbeitung, Wiederholungen und Fehlertoleranz.
- Python-Programmierung: Starke Python-Kenntnisse, insbesondere asynchrone HTTP-Anfragen und gleichzeitige Verarbeitung mit Bibliotheken wie asyncio, aiohttp oder HTTPX.
- SQL und PostgreSQL: Fortgeschrittene SQL-Kenntnisse und praktische PostgreSQL-Erfahrung, einschließlich Datenmodellierung, Abfrageoptimierung, inkrementellem Laden und Leistungsoptimierung.
- Datenqualität und -modellierung: Erfahrung in der Gestaltung von Datenverträgen, Roh- und kuratierten Speicherschichten, Aufbewahrungsrichtlinien, automatisierter Validierung und Datenqualitätsüberwachung.
- Web-Scraping-Expertise: Praktische Erfahrung im Aufbau und in der Wartung produktiver Scraping-Pipelines mit Tools wie Scrapy, Playwright, Selenium oder Beautiful Soup, einschließlich Verwaltung der Gleichzeitigkeit, Ratenbegrenzung und Fehlerbehandlung.
- Unabhängiges Eigentum: Fähigkeit, fundierte technische Entscheidungen zu treffen, komplexe Projekte zu managen und Verantwortung für die Dateninfrastruktur über den gesamten Entwicklungszyklus zu übernehmen.
- Erfahrung in Startups oder kleinen Teams: Erfahrung in einem Startup oder einem schlanken Ingenieurteam, in dem sich Prioritäten schnell ändern und Ingenieure umfassende Verantwortung übernehmen, ist von Vorteil.
- Entity Resolution: Vertrautheit mit dem Abgleichen von Unternehmens- und Einzelaufzeichnungen über mehrere Quellen hinweg, Identifizierung von Duplikaten und Konsolidierung von Informationen in konsistenten Entitäten ist sehr wünschenswert.
- LLM-basierte Datenverarbeitung: Erfahrung mit großen Sprachmodellen zur strukturierten Datenextraktion, Unternehmensanreicherung oder Personenanreicherung ist von Vorteil.
- Zusätzliche Datentechnologien: Vertrautheit mit BigQuery und Dataform ist von Vorteil.
- Kommunikationsfähigkeiten: Fähigkeit, technische Konzepte klar zu kommunizieren, effektiv mit verteilten Teams zusammenzuarbeiten und sich in einem englischsprachigen beruflichen Umfeld wohlzufühlen.
Vorteile
- Vollständig remote Arbeit: Arbeiten Sie remote von berechtigten Standorten in Europa und Lateinamerika, mit Flexibilität bei der Organisation Ihres Arbeitsumfelds.
- Technische Verantwortung: Leiten Sie die Architektur und Evolution einer Datenplattform mit bedeutendem Einfluss auf technische Entscheidungen und Ingenieurpraktiken.
- Moderne Technologie-Stack: Arbeiten Sie mit Python, PostgreSQL, GCP, dbt, ereignisgesteuerten Systemen, Workflow-Orchestrierung, Web-Scraping und KI-gestützter Datenextraktion.
- End-to-End-Einfluss: Bauen Sie grundlegende Infrastruktur auf, die direkt die Produktfunktionalität, Datenqualität und das Geschäftswachstum unterstützt.
- Ingenieureigenverantwortung: Übernehmen Sie die Verantwortung für technische Herausforderungen und gestalten Sie skalierbare Lösungen in einer dynamischen, produktfokussierten Umgebung.
- Innovationsmöglichkeiten: Erkunden Sie fortschrittliche Datenverarbeitung, Entity Resolution, externe Datenanreicherung und LLM-basierte Extraktionstechniken.
- Internationale Zusammenarbeit: Arbeiten Sie mit einem verteilten Team in mehreren Regionen zusammen, mit Möglichkeiten, zu sich entwickelnden technischen Initiativen beizutragen.
- Vergütungsflexibilität: Gehaltserwartungen werden monatlich in USD besprochen, wobei das endgültige Paket im Rahmen des Rekrutierungsprozesses festgelegt wird.
Senior Data Engineer Arbeitgeber: Jobgether
Als Arbeitgeber bietet Jobgether eine spannende Möglichkeit, in einem innovativen und dynamischen Umfeld zu arbeiten, das auf Sicherheit und Zuverlässigkeit fokussiert ist. Mit einer remote-first Kultur und flexiblen Arbeitszeiten fördern wir die Zusammenarbeit über verschiedene Zeitzonen hinweg und bieten unseren Mitarbeitenden zahlreiche Wachstums- und Entwicklungsmöglichkeiten. Unsere Mitarbeiter profitieren von einem unterstützenden Teamgeist und der Chance, an einem zukunftsweisenden Produkt zu arbeiten, das echte Auswirkungen hat.
Jobgipfel Expertenrat🤫
Wir sind der Meinung, dass du so Senior Data Engineer erhalten könntest
✨Tausch dich mit Datenexperten aus
Such nach lokalen Meetup-Gruppen oder Konferenzen in der Datenwissenschaft. Das ist eine super Gelegenheit, um mit Leuten zu reden, die schon in der Branche arbeiten, und eventuell sogar Insider-Tipps zu bekommen, wo Stellen zu vergeben sind.
✨Mach dich sichtbar mit Projekten
Erstelle ein paar spannende Projekte oder Analysen und teile sie auf Plattformen wie GitHub oder Kaggle. Wenn du einen coolen Algorithmus oder ein Data Vision Projekt hast, zeig es! Das bringt dich in die Sichtbarkeit und zeigt, was du drauf hast.
✨Kümmere dich um dein Netzwerk
Tausch dich mit ehemaligen Kommilitonen oder Professoren aus, die in der Datenwissenschaft tätig sind. Oft sind es die persönlichen Empfehlungen, die den Unterschied machen können, wenn es um die ersten Schritte in die Branche geht.
✨Bewirb dich direkt bei Firmen wie Jobgether
Gehe auf die Karriere-Seite von Jobgether und schau dir die offenen Stellen im Bereich Datenwissenschaft an. Nutze die Chance, direkt zu bewerben, weil das oft schneller und persönlicher ist als über Jobbörsen.
Wir glauben, dass du diese Fähigkeiten brauchst, um Senior Data Engineer mit Bravour zu bestehen
Einige Tipps für deine Bewerbung 🫡
Heb din technisches Wissen hervor:Sorg dafür, dass du in deinem CV und im Anschreiben deine Kenntnisse in Data Science-Tools wie Python, R oder SQL deutlich machst. Verlinke eventuell auf Projekte oder Studien, die du realisiert hast, um dein Wissen zu untermauern. Bei uns bei Jobgether suchen wir nach Leuten, die richtig mit Daten umgehen können!
Zahlenschwindler oder Problemlöser?:Überleg dir konkrete Beispiele, wie du mit Zahlen und Daten Herausforderungen gelöst hast. Das zeigt uns deine Fähigkeit, analytisch zu denken und komplexe Probleme zu bewältigen. In der Data Science sind solche Skills Gold wert!
Die perfekte Dokumentation:Wenn du an Projekten gearbeitet hast, zeig uns deine Dokumentation! Gute Data Scientists präsentieren ihre Analysen und Resultate nachvollziehbar. So kannst du uns zeigen, dass du sowohl technische Skills hast als auch in der Lage bist, deine Arbeit verständlich zu kommunizieren.
Cooler Lebenslauf und Anschreiben:Dein Lebenslauf und dein Anschreiben sollten nicht nur ordentlich aussehen, sondern auch strukturiert und relevant für die Data Science sein. Mach deutlich, warum du bei Jobgether arbeiten möchtest und was dich an Data Science begeistert. Wir lieben es, wenn Bewerber ihre Leidenschaft zeigen!
Wie man sich auf ein Vorstellungsgespräch bei Jobgether vorbereitet
✨Data-Analysen ganz konkret
Mach dich bereit für technische Fragen über Datenanalysen und Statistiken. Du könntest gebeten werden, eine erste Datenanalyse durchzuführen oder Hypothesen mittels Daten zu validieren. Üb das mit echten Datensätzen, damit du die Tools wie Python oder R gut im Griff hast.
✨Das ideale Projekt-Portfolio
Sammle relevante Projekte in einem Portfolio, das dein Können zeigt. In einem Vorstellungsgespräch für eine Data-Science-Position wollen die Arbeitgeber oft sehen, wie du an Herausforderungen herangegangen bist. Zeig uns deine besten Projekte, vielleicht sogar solche, die interessante Visualisierungen oder Machine Learning Modelle beinhalten.
✨Soft Skills sind nicht zu unterschätzen
Kommunikation ist ein wichtiger Teil im Data-Science-Bereich. Bereite dich darauf vor, darüber zu sprechen, wie du komplexe Daten für nicht-technische Stakeholder erklärt hast. Es könnte auch hilfreich sein, Beispiele zu teilen, wo du im Team gearbeitet hast, um Datenlösungen zu entwickeln.
✨Fragen zur Unternehmensstrategie
Mach dir Gedanken darüber, wie deine Rolle im Unternehmen Jobgether zum geschäftlichen Erfolg beitragen kann. Bereite Fragen vor, die aufzeigen, dass du deren Datenstrategie verstehst und wie du aktiv zur Verbesserung beitragen kannst. Das zeigt, dass du nicht nur technisches Wissen, sondern auch Interesse am Unternehmen hast.
