Research Scientist, User Signals from Agentic Logs, DeepMind in Zürich

PhD in Machine Learning, natürliche Sprachverarbeitung oder ein verwandtes Feld (oder gleichwertige praktische Erfahrung). Erfahrung in der Softwareentwicklung mit Python und einem oder mehreren Deep-Learning-Frameworks (z.B. PyTorch oder JAX). Forschungserfahrung in Post-Training, Reinforcement Learning (RL), agentic RL, Präferenzlernen oder Belohnungsmodellierung.

Erste Autor (oder Co-Autor) Publikation in einer oder mehreren peer-reviewed Konferenzen für maschinelles Lernen oder natürliche Sprachverarbeitung (NLP) (z.B. NeurIPS, ICML, ICLR, ACL, EMNLP).

Bevorzugte Qualifikationen

• Erste Autor Publikationen an führenden ML/NLP-Veranstaltungen (NeurIPS, ICML, ICLR, ACL, EMNLP).
• Erfahrung mit modernen Ausrichtungs- und Post-Training-Methoden (z.B. RLHF, DPO, PPO, Ablehnungsstichproben oder Selbstspiel).
• Erfahrung in der Modellierung von Multi-Turn-Interaktionsdaten, Agenten-Trajektorien/Logs oder Benutzerfeedback (implizite und explizite Signale).
• Erfahrung in der Schulung oder Bewertung von Belohnungsmodellen, Kritikmodellen oder automatisierten Evaluatoren (z.B. LLM-as-a-judge).
• Erfahrung im agentischen Post-Training.

Über die Stelle

Als Teil des Gemini User Signals-Teams wird ein Research Scientist die Post-Training-Strategie unserer fortschrittlichsten Modelle vorantreiben, die darauf abzielt, das „Flywheel“ der Ausrichtung zu etablieren, indem komplexe Benutzerinteraktionen und Feedback in Trainingssignale umgewandelt werden, die das Verhalten des Modells grundlegend verbessern. In dieser Rolle werden Sie die Forschung zur Belohnungsmodellierung, Präferenzoptimierung und datenzentrierten Strategien leiten, um den Kreislauf zwischen Benutzerbereitstellung und Modelltraining zu schließen. Sie helfen dabei, die horizontalen Rezepte zu definieren, die es uns ermöglichen, diese Erkenntnisse über verschiedene Modalitäten und Modellfamilien hinweg zu skalieren.

Künstliche Intelligenz wird eine der transformativsten Erfindungen der Menschheit sein. Bei Google DeepMind sind wir ein Pionierlabor für KI mit außergewöhnlichen interdisziplinären Teams, die sich auf die Weiterentwicklung der KI konzentrieren, um komplexe globale Herausforderungen zu lösen und hochwertige Produktinnovationen für Milliarden von Nutzern zu beschleunigen. Wir nutzen unsere Technologien zum weitreichenden öffentlichen Nutzen und wissenschaftlichen Entdeckungen und stellen sicher, dass Sicherheit und Ethik immer unsere höchste Priorität haben. Wir erweitern die Grenzen in mehreren Bereichen. Unsere globalen Teams bieten vielfältige Lernmöglichkeiten und Karrierewege für diejenigen, die motiviert sind, außergewöhnliche Ergebnisse durch kollektive Anstrengungen zu erzielen.

Verantwortlichkeiten

• Mechanismen entwerfen und implementieren, um qualitativ hochwertige Benutzersignale (implizit und explizit) zu ernten, zu filtern und zu nutzen, um die Gemini-Modelle iterativ zu verbessern.
• Belohnungsmodelle und Kritikmodelle entwickeln und verfeinern, die die Benutzerabsicht und -zufriedenheit genau erfassen und als Grundlage für Reinforcement Learning from Human Feedback (RLHF) und andere Ausrichtungstechniken dienen.
• „Horizontale“ Post-Training-Rezepte erstellen und validieren, die robust auf verschiedene Modellgrößen und Modalitäten (einschließlich Text und Audio) angewendet werden können.
• Neue Methoden zur Gewichtung, Synthese und Auswahl von Daten untersuchen, um die Auswirkungen von Benutzersignalen auf die Modellleistung zu maximieren.
• Strenge Bewertungsrahmen etablieren, um die Korrelation zwischen Offline-Metriken (Genauigkeit des Belohnungsmodells) und der Online-Benutzerzufriedenheit zu messen.