AI Research Scientist – Scientific Evaluation (ML/AI)

Lightly AG ist ein in Zürich ansässiges KI-Unternehmen und ein Spin-off von ETH/HSG, unterstützt von Y Combinator und erstklassigen Investoren. Unsere Technologien im Bereich maschinelles Lernen und Computer Vision werden von globalen Führern in den Bereichen autonomes Fahren, medizinische Bildgebung und visuelle Inspektion vertraut. Wir suchen erfahrene ML/AI-Forscher mit einer starken Publikationshistorie auf erstklassigen Konferenzen (NeurIPS, ICML, ICLR), um ein fortgeschrittenes Projekt zur Bewertung von KI-Forschung zu unterstützen.

Sie werden wissenschaftliche Arbeiten und Forschungsergebnisse, die von autonomen KI-Forschungsagenten generiert wurden, kritisch bewerten und deren technische Richtigkeit, wissenschaftliche Neuheit, experimentelle Strenge und allgemeine Forschungsqualität im Vergleich zu den Standards führender ML/AI-Konferenzen beurteilen.

Diese Position ist eine remote, projektbasierte Vertragsmöglichkeit mit flexiblen Arbeitszeiten.

Aufgaben

• Kritische Bewertung von KI-generierten ML/AI-Forschungspapieren, einschließlich der Beurteilung ihrer wissenschaftlichen Beiträge, technischen Richtigkeit, Methodik, experimentellen Designs und Schlussfolgerungen.
• Bewertung der wissenschaftlichen Neuheit und Bedeutung, um festzustellen, ob vorgeschlagene Ansätze bedeutende Fortschritte gegenüber bestehenden Forschungsständen darstellen.
• Bewertung der experimentellen Strenge und Validität, einschließlich Baseline-Vergleiche, Auswahl von Benchmarks, Evaluationsmetriken, statistischen Nachweisen und Ablationsstudien.
• Identifizierung methodologischer Mängel, unbegründeter Behauptungen, Inkonsistenzen oder irreführender Ergebnisse, die die wissenschaftliche Validität der vorgeschlagenen Beiträge untergraben.
• Bewertung der Reproduzierbarkeit und technischen Solidität, einschließlich der Frage, ob die berichteten Ergebnisse ausreichend durch experimentelle Beweise und, wo verfügbar, begleitende Code- und Implementierungsdetails unterstützt werden.
• Überprüfung und Verifizierung relevanter akademischer Literatur, Identifizierung übersehener Vorarbeiten, ungenauer Zitationen und unbegründeter Neuheitsansprüche.
• Bewertung, ob KI-generierte Forschung den wissenschaftlichen Standards erstklassiger ML/AI-Konferenzen entspricht, wie NeurIPS, ICML und ICLR.
• Bereitstellung strukturierter, evidenzbasierter Bewertungen der Forschungsqualität, einschließlich Stärken, Schwächen, kritischer technischer Bedenken und allgemeinem wissenschaftlichem Verdienst.
• Anwendung detaillierter Bewertungsrubriken, um klare, gut begründete Begründungen für Ihre Bewertungen zu liefern.

Das Projekt konzentriert sich auf die Bewertung fortschrittlicher KI-generierter wissenschaftlicher Forschung, mit einem Schwerpunkt auf technischer Validität, wissenschaftlicher Neuheit, experimenteller Strenge und allgemeiner Forschungsqualität. Ihre Rolle besteht darin, Expertenurteile darüber abzugeben, ob die resultierende Forschung wissenschaftlich gültig, wirklich neu und von einer Qualität ist, die mit Arbeiten verglichen werden kann, die auf führenden ML/AI-Konferenzen akzeptiert wurden.

Anforderungen

• Sie sind ein starker Kandidat, wenn Sie einen Doktortitel in Maschinenlernen, künstlicher Intelligenz, Informatik, Statistik oder einem eng verwandten technischen Bereich haben oder gleichwertige nachgewiesene Forschungsexpertise besitzen.
• Sie haben mindestens 3 peer-reviewed Forschungspapiere bei NeurIPS, ICML und/oder ICLR veröffentlicht (harte Anforderung), idealerweise als Erstautor oder mit bedeutenden Forschungsbeiträgen.
• Sie haben umfangreiche praktische Erfahrung in der ML/AI-Forschung, einschließlich der Entwicklung neuer Methoden, des Designs von Experimenten, der Analyse von Ergebnissen und der Veröffentlichung originärer wissenschaftlicher Arbeiten.
• Sie haben ein starkes Verständnis für wissenschaftliche Methodik und experimentelle Strenge, einschließlich geeigneter Baselines, statistischer Validität, Benchmark-Design, Ablationsstudien und Reproduzierbarkeit.
• Sie können unabhängig die Neuheit, Bedeutung und technische Solidität fortschrittlicher ML/AI-Forschung bewerten und sowohl bedeutende wissenschaftliche Beiträge als auch grundlegende methodologische Schwächen identifizieren.
• Sie haben Erfahrung in der Überprüfung von Forschungspapieren für erstklassige ML/AI-Konferenzen oder -Zeitschriften, idealerweise NeurIPS, ICML oder ICLR – stark bevorzugt.
• Sie sind sehr vertraut mit dem Stand der Technik in der ML/AI-Forschung und können neue Methoden kritisch mit bestehender Literatur und etablierten Benchmarks vergleichen.
• Sie sind in der Lage, wissenschaftliche Ansprüche zu überprüfen, einschließlich der Überprüfung technischer Argumente, experimenteller Beweise, Zitationen und, wo relevant, Code-Implementierungen.
• Sie verfügen über starke analytische und wissenschaftliche Schreibfähigkeiten und können nuancierte technische Urteile durch prägnantes, evidenzbasiertes Feedback artikulieren.
• Sie können detaillierte Bewertungsrichtlinien und Bewertungsrubriken konsequent anwenden und dabei unabhängiges Expertenurteil ausüben.
• Sie haben ein außergewöhnliches Auge fürs Detail, insbesondere bei der Identifizierung subtiler methodologischer Mängel, unbegründeter Schlussfolgerungen oder Diskrepanzen zwischen Ansprüchen und Beweisen.

Vorteile

• Vollständig remote und flexibel – arbeiten Sie von überall.
• Teilzeit-Vertragsrolle mit flexiblen Stunden.
• Arbeiten Sie an der Bewertung von hochmodernen autonomen KI-Systemen, die in der Lage sind, umfassende wissenschaftliche Forschung durchzuführen.
• Wenden Sie Ihre Forschungsexpertise an, um die wissenschaftlichen Fähigkeiten von Grenz-KI-Agenten zu bewerten und voranzutreiben.