Data Engineer (Detect & Track Distillation) in Zürich

Harmattan AI ist ein Unternehmen der nächsten Generation, das autonome und skalierbare Verteidigungssysteme entwickelt. Nach dem Abschluss einer Finanzierungsrunde von 200 Millionen Dollar, die das Unternehmen mit 1,4 Milliarden Dollar bewertet, erweitern wir unsere Teams und Fähigkeiten, um mission-kritische Systeme für verbündete Streitkräfte bereitzustellen.

Unsere Arbeit wird von klaren Werten geleitet: Technologien mit echtem Einfluss zu entwickeln, Exzellenz in allem, was wir tun, zu verfolgen, ehrgeizige Ziele zu setzen und die schwierigsten technischen Herausforderungen anzunehmen. Wir arbeiten in einem anspruchsvollen Umfeld, in dem Rigorosität, Eigenverantwortung und Ausführung erwartet werden.

Unsere ML-Teams trainieren Modelle auf Datensätzen, die aus großen Mengen an rohen, unstrukturierten Daten abgeleitet sind. Die Modellqualität hängt direkt von der Datenqualität ab, und heute wird diese Daten größtenteils manuell verarbeitet.

Als Data Engineer, der in Paris, Lausanne oder Zürich arbeitet, sind Sie verantwortlich für die Datenebene, die die Modelle des Teams speist, von rohen Feldprotokollen oder öffentlichen Datensätzen bis hin zu kuratierten, versionierten, trainingsbereiten Datensätzen. Sie verwalten Terabytes an rohen, unstrukturierten Daten und verwandeln sie in saubere, dokumentierte, versionierte Datensätze, damit die Modellierer ihre Zeit mit dem Entwerfen und Trainieren von Modellen verbringen können, anstatt auf Datenlader oder das Bearbeiten beschädigter Dateien zu warten. Sie treten in einer frühen Phase bei und haben echten Einfluss darauf, wie Feld- und öffentliche Daten für Deep-Learning-Pipelines verarbeitet werden.

VERANTWORTUNGEN

• Datenpipeline: Rohdaten (Video und andere Sensorströme) aus Feldprotokollen in effiziente, kontrollierte Formate einlesen, dekodieren und speichern.
• Multimodale Ausrichtung: Mehrere Datenströme zeitlich und räumlich ausrichten, damit gepaarte Daten für das Training verwendbar sind.
• Kuration: Sowohl eingelesene Daten als auch öffentliche Datensätze in hochwertige Daten umwandeln, einschließlich Parsing, Filtern, Duplikatsentfernung und Revision.
• Daten- und Kennzeichnungsanforderungen: Definieren, welche Daten gesammelt werden sollen und wie sie gekennzeichnet werden, sowie den Workflow zur Erstellung von Datensätzen und die Kennzeichnungstools verwalten. Koordination mit den Teams, die für die Datensammlung und -kennzeichnung verantwortlich sind.
• Datensatzkonstruktion: Aufbau von aufgabenbezogenen Datensätzen für die Trainings- und Evaluierungsbedürfnisse des Teams in Zusammenarbeit mit Akquisitions-, Annotierungs- und Produktteams.
• Versionierung & Herkunft: Datensätze versionieren und die Herkunft pflegen, damit Trainingsläufe reproduzierbar bleiben.
• Speicherung & Formate: Daten in effizienten, trainingsbereiten Formaten speichern (wie spaltenbasierten oder sharded Formaten) und das Speichermanagement so steuern, dass Kosten und Latenz beim Wachstum der Datensätze ausgeglichen werden.
• Effiziente Lieferung: Saubere, dokumentierte Datensätze und die entsprechenden Tools für das Laden bereitstellen, um das Training nicht I/O-gebunden zu machen, und deren Struktur gemeinsam mit den Modellierern gestalten.

ANFORDERUNGEN AN DEN KANDIDATEN

• Bildungsweg: Ein Abschluss in einem MINT-Fachgebiet oder gleichwertige praktische Erfahrung. Praktische Erfahrung im Bereich Datenengineering ist wichtiger als der spezifische Abschluss.
• Datenpipelines in großem Maßstab: Pipelines für unstrukturierte Daten in großem Maßstab (Video, Bilder oder Sensordaten) aufgebaut und gewartet, einschließlich Einlesen, Dekodierung, Speicherung, Kuration und Versionierung.
• Engineering: Stark in Python und Datenengineering und vertraut mit der Optimierung von Datenladern für gängige Trainingsframeworks (zum Beispiel PyTorch).
• Bonus: Multimodale Sensordaten, Kennzeichnung oder Datensatzkonstruktion für ML, Werkzeuge zur Versionierung von Datensätzen und Werkzeuge zur verteilten Datenverarbeitung.
• Attribute: Systematisch, qualitätsbewusst, pragmatisch und serviceorientiert, damit die Modellierer unterstützt werden, mit einem Talent dafür, unordentliche Daten durch Automatisierung zu bändigen.
• Engagement: 100%ige Hingabe an die Mission von Harmattan AI, den verbündeten Nationen durch ethische, wirkungsvolle Technologie einen Verteidigungs-Vorteil zu verschaffen.

Wir freuen uns darauf zu hören, wie Sie helfen können, die Zukunft autonomer Verteidigungssysteme bei Harmattan AI zu gestalten.