Research Engineer, Foundation Model (Multimodal Fusion & Distillation) in Zürich

Unsere Mission bei Laelaps AI ist es, intelligente Software zu entwickeln, die physische Sicherheit in der realen Welt ermöglicht. Wir glauben, dass die Robotik in ein transformierendes Jahrzehnt eintritt, ähnlich wie die Ankunft des Internets. Fortschritte in KI, Cloud-Computing und Hardware verändern, was autonome Systeme leisten können.

Die Rolle umfasst den Aufbau von Teilen von LEA, unserem Grundmodell der physischen Welt, wobei Felddaten als Eingabe dienen. LEA verarbeitet Kameras, Infrarot, Wärmebild, Lidar und Roboterdaten rund um die Uhr an echten Sicherheitsstandorten. Ihre Arbeit besteht darin, jeden Sensor in einen Stream zu fusionieren, ein offenes Vision-Language-Modell zu lehren, über diesen Stream zu schlussfolgern, und ein schnelles Modell zu destillieren, das jedes Bild sieht.

Sie werden auch festlegen, wie wir Modelle trainieren, bewerten und ausliefern. Sie arbeiten mit unseren Command Centre und Robot Autonomy Teams zusammen, um das, was Sie trainieren, auf vor Ort eingesetzten Geräten und Robotern zum Laufen zu bringen.

Was Sie bearbeiten werden:

• Native Encoder: Anpassung der besten offenen Vision- und Punktwolken-Grundmodelle an RGB, IR, Wärmebild und Lidar.
• Fusion: Aufbau der Schicht, die jeden Sensor zeitlich und räumlich in einen Token-Stream ausrichtet.
• Slow Head: Feinabstimmung eines offenen Frontier-Vision-Language-Modells, um über fusionierte Sensortokens zu schlussfolgern.
• Fast Head: Destillation eines kleinen Modells aus den Aufrufen des Slow Heads.
• Bewertung: Halten von Standorten, Nacht- und Wärmebildschnitten, Regressionstests.
• Trainingsmaschinen: Multi-GPU-Training, Datenlader für Multi-Sensor-Clips, Experimentverfolgung und reproduzierbare Durchläufe.

Wer wir suchen:

Ein Forschungsingenieur, der multimodale Modelle ausgeliefert hat. Sie wissen, wann ein offenes Modell gut genug ist und wann man bauen sollte. Sie messen an dem relevanten Slice, bevor Sie eine Zahl beanspruchen, und Ihnen ist wichtig, ob das Modell an einem echten Standort funktioniert.

Ihr Hintergrund:

• 4+ Jahre Erfahrung im Training und der Feinabstimmung großer Vision- oder multimodaler Modelle oder ein PhD plus Industrieerfahrung.
• Starke Kenntnisse in PyTorch, vertraut mit Multi-GPU- und Multi-Node-Training.
• Praktische Erfahrung in der Feinabstimmung von Vision-Language-Modellen.
• Erfahrung mit Wissensdestillation oder Modellkompression für den Einsatz.
• Arbeit mit Video oder nicht-RGB-Sensoren: Wärmebild, Infrarot, Lidar oder Radar.
• Bewertungsdisziplin und solide Software-Engineering-Hygiene.

Nice to Have:

• Punktwolken- oder 3D-Grundmodelle.
• Selbstüberwachende und latente Vorhersagemethoden.
• Edge-Deployment mit TensorRT oder ähnlichem.
• Robotik oder Datensammlung im Feld.
• Veröffentlichungen in führenden ML-, Vision- oder Robotik-Veranstaltungen.

Was wir bieten:

• Eigentum: Sie können Produkte ausliefern und Projekte von Anfang bis Ende betreuen.
• Mission: Autonome Sicherheit, die Menschen und kritische Standorte schützt.
• Karriereweg: Ein Platz in der ersten Reihe mit echtem Potenzial.
• Team: Direkte Zusammenarbeit mit PhD-niveau Mitgründern in KI, Robotik und Physik.
• Vergütung: Wettbewerbsfähiges Eigenkapital-/Gehaltspaket.
• Kultur: Internationales Gründerteam, das ernsthaft aufbaut, sich aber nicht zu ernst nimmt.