Research Scientist — Generative AI in Zürich

Wir suchen einen Research Scientist, um die generative Modellierungstechnologie hinter Athlences Rendering-Pipeline zu entwickeln. Der Fokus dieser Rolle liegt auf der Entwicklung generativer Modelle zur Verbesserung der visuellen Qualität rekonstruierter Szenen, während Geometrie, Multi-View-Konsistenz und zeitliche Kohärenz erhalten bleiben. Sie werden mit Diffusion, flow-basierten, Video- und anderen generativen Architekturen arbeiten und Methoden entwickeln, die Geometrie, Kamerainformationen, Multi-View-Beobachtungen und zeitlichen Kontext einbeziehen.

Die Rolle befindet sich an der Schnittstelle zwischen generativer Modellierung und 3D-Vison. Sie werden eng mit dem 3D-Rekonstruktionsteam zusammenarbeiten, um geometrische Darstellungen mit generativen Modellen zu verbinden und Methoden zu entwickeln, die zuverlässig mit realen Multi-Kamera-Aufnahmen arbeiten können.

Was Sie tun werden:

• Forschung und Entwicklung generativer Modelle für qualitativ hochwertiges, zeitlich konsistentes Rendering aus 3D- und 4D-Szenen.
• Erforschen von Diffusion, Flow-Matching, rektilinarem Flow, Video-Generierung und verwandten Ansätzen der generativen Modellierung.
• Anpassen und Feinabstimmen großangelegter 2D-, Video- und 3D-generativer Modelle auf Athlences Multi-View- und zeitliche Daten.
• Entwicklung von Bedingungsmechanismen, die Geometrie, Kamerainformationen, zeitlichen Kontext und Multi-View-Beobachtungen einbeziehen.
• Erforschen von Feed-Forward-Architekturen und 3D/4D-Darstellungen, die spärliche Multi-View-Eingaben direkt mit darstellbaren Szenendarstellungen verbinden.
• Entwerfen und Durchführen von Experimenten, um die Kompromisse zwischen wahrnehmbarer Qualität, geometrischer Konsistenz, zeitlicher Stabilität, Latenz und Rechenaufwand zu verstehen.
• Entwicklung von Evaluationsmetriken und Benchmarks, die wahrnehmbare Qualität und zeitliche/Multi-View-Konsistenz über konventionelle pixelbasierte Metriken hinaus erfassen.
• Aufbau von Trainings-, Evaluierungs- und Inferenzpipelines für großangelegte generative Modelle.
• Definieren und Verbessern der Datenverteilung, die zum Trainieren generativer Modelle verwendet wird, einschließlich Datensatzkuratierung, Filterung und Vorverarbeitung.
• Enges Zusammenarbeiten mit den Teams für 3D-Rekonstruktion und Systeme, um generative Modelle in die breitere Rendering-Pipeline zu integrieren.

Was Sie mitbringen müssen:

• Starke praktische Erfahrung mit modernen generativen Modellen, insbesondere Diffusions- oder flow-basierten Modellen.
• Ein rigoroses Verständnis der Prinzipien hinter Diffusionsmodellen, Rauschplänen, Flow-Matching oder verwandten Methoden der generativen Modellierung.
• Praktische Erfahrung im Training, Feinabstimmen, Anpassen oder Destillieren von 2D-, Video- oder 3D-generativen Modellen.
• Starke Python- und PyTorch-Kenntnisse, mit Erfahrung im Aufbau von Trainings- und Evaluierungspipelines.
• Gute Grundlagen in Computer Vision und 3D, einschließlich Vertrautheit mit Kameramodellen und grundlegender Multi-View-Geometrie.
• Erfahrung im Entwerfen von Experimenten, Analysieren des Modellsverhaltens und Untersuchen von Fehlermodi.
• Fähigkeit, Forschungsideen von einer ersten Hypothese über Implementierung, Experimentierung bis hin zur Evaluierung zu bringen.
• Fähigkeit, unabhängig zu arbeiten und technische Ergebnisse sowie Kompromisse klar zu kommunizieren.

Schön zu haben:

• Erfahrung mit großangelegtem verteiltem Training unter Verwendung von Technologien wie FSDP, DeepSpeed oder ähnlichem.
• Erfahrung mit Video-Generierung, zeitlicher Modellierung oder Multi-View-generativen Modellen.
• Erfahrung mit neuartigen Sichtsynthetisierungen, neuronaler Rendering, Gaussian Splatting, NeRFs oder anderen 3D-Darstellungen.
• Erfahrung in der Bedingung generativer Modelle auf Geometrie, Tiefe, Kameraparameter oder andere räumliche Informationen.
• Erfahrung in der Optimierung generativer Modelle für Inferenzlatenz, Speicherverbrauch oder Durchsatz.
• Veröffentlichungen in führenden Konferenzen für Computer Vision oder maschinelles Lernen wie CVPR, ICCV, ECCV, SIGGRAPH, NeurIPS oder ICML.
• Open-Source-Arbeit oder bedeutende Forschungsprojekte, die praktische Erfahrungen in der generativen Modellierung demonstrieren.

Was wir bieten:

• Zugang zu einzigartigen, proprietären Multi-Kamera-Sportdaten, die in realen Umgebungen erfasst wurden.
• Die Möglichkeit, an herausfordernden Problemen der generativen Modellierung und 3D-Vison zu arbeiten, bei denen Forschungsideen gegen reale Einschränkungen bewertet werden.
• Hohe Eigenverantwortung über den gesamten Forschungszyklus, von der Forschungserkundung und Experimentierung bis hin zur Integration und Bereitstellung.
• Ein kleines, hoch technisches Team, in dem Sie direkt die Forschungsrichtung und die Systeme, die wir aufbauen, beeinflussen können.