AI Research Scientist - Scientific Evaluation (ML/AI)

Lightly AG ist ein in Zürich ansässiges KI-Unternehmen und ein Spin-off von ETH/HSG, unterstützt von Y Combinator und erstklassigen Investoren. Unsere Technologien im Bereich maschinelles Lernen und Computer Vision werden von globalen Führern in den Bereichen autonomes Fahren, medizinische Bildgebung und visuelle Inspektion vertraut. Wir suchen erfahrene ML/AI-Forscher mit einer starken Publikationshistorie auf erstklassigen Konferenzen (NeurIPS, ICML, ICLR), um ein fortschrittliches Projekt zur Bewertung von KI-Forschung zu unterstützen.

Sie werden wissenschaftliche Arbeiten und Forschungsergebnisse, die von autonomen KI-Forschungsagenten generiert wurden, kritisch bewerten und deren technische Richtigkeit, wissenschaftliche Neuheit, experimentelle Strenge und allgemeine Forschungsqualität im Vergleich zu den Standards führender ML/AI-Konferenzen beurteilen.

Dies ist eine remote, projektbasierte Vertragsmöglichkeit mit flexiblen Arbeitszeiten.

Aufgaben

Was Sie tun werden:

• Kritische Bewertung von KI-generierten ML/AI-Forschungspapieren, einschließlich der Beurteilung ihrer wissenschaftlichen Beiträge, technischen Richtigkeit, Methodik, experimentellen Designs und Schlussfolgerungen.
• Bewertung der wissenschaftlichen Neuheit und Bedeutung, um festzustellen, ob vorgeschlagene Ansätze bedeutende Fortschritte gegenüber bestehenden Forschungsarbeiten darstellen.
• Bewertung der experimentellen Strenge und Validität, einschließlich Basisvergleichen, Auswahl von Benchmarks, Evaluationsmetriken, statistischen Nachweisen und Ablationsstudien.
• Identifizierung methodologischer Mängel, unbegründeter Behauptungen, Inkonsistenzen oder irreführender Ergebnisse, die die wissenschaftliche Validität der vorgeschlagenen Beiträge untergraben.
• Bewertung der Reproduzierbarkeit und technischen Solidität, einschließlich der Frage, ob die berichteten Ergebnisse ausreichend durch experimentelle Beweise gestützt sind und, wo verfügbar, begleitenden Code und Implementierungsdetails.
• Überprüfung und Verifizierung relevanter akademischer Literatur, Identifizierung übersehener Vorarbeiten, ungenauer Zitationen und unbegründeter Neuheitsansprüche.
• Bewertung, ob KI-generierte Forschung den wissenschaftlichen Standards führender ML/AI-Konferenzen entspricht, wie NeurIPS, ICML und ICLR.
• Bereitstellung strukturierter, evidenzbasierter Bewertungen der Forschungsqualität, einschließlich Stärken, Schwächen, kritischer technischer Bedenken und allgemeiner wissenschaftlicher Verdienste.
• Anwendung detaillierter Bewertungsrubriken, wobei klare, gut begründete Begründungen für Ihre Bewertungen bereitgestellt werden.

Das Projekt konzentriert sich auf die Bewertung fortschrittlicher KI-generierter wissenschaftlicher Forschung, mit einem Schwerpunkt auf technischer Validität, wissenschaftlicher Neuheit, experimenteller Strenge und allgemeiner Forschungsqualität. Ihre Rolle besteht darin, Expertenurteile darüber abzugeben, ob die resultierende Forschung wissenschaftlich gültig, wirklich neuartig und von einer Qualität ist, die mit Arbeiten vergleichbar ist, die auf führenden ML/AI-Konferenzen akzeptiert wurden.

Anforderungen

• Doktortitel in Maschinenlernen, Künstlicher Intelligenz, Informatik, Statistik oder einem eng verwandten technischen Bereich oder gleichwertige nachgewiesene Forschungsexpertise.
• Mindestens 3 peer-reviewed Forschungspapiere bei NeurIPS, ICML und/oder ICLR veröffentlicht (harte Anforderung), idealerweise als Erstautor oder mit bedeutenden Forschungsbeiträgen.
• Umfangreiche praktische Erfahrung in der ML/AI-Forschung, einschließlich der Entwicklung neuartiger Methoden, des Designs von Experimenten, der Analyse von Ergebnissen und der Veröffentlichung originärer wissenschaftlicher Arbeiten.
• Starkes Verständnis der wissenschaftlichen Methodik und experimentellen Strenge, einschließlich geeigneter Baselines, statistischer Validität, Benchmark-Designs, Ablationsstudien und Reproduzierbarkeit.
• Fähigkeit zur unabhängigen Bewertung der Neuheit, Bedeutung und technischen Solidität fortgeschrittener ML/AI-Forschung, einschließlich der Identifizierung sowohl bedeutender wissenschaftlicher Beiträge als auch grundlegender methodologischer Schwächen.
• Erfahrung in der Überprüfung von Forschungspapieren für erstklassige ML/AI-Konferenzen oder -Zeitschriften, idealerweise NeurIPS, ICML oder ICLR – stark bevorzugt.
• Hohe Vertrautheit mit dem Stand der Technik in der ML/AI-Forschung und Fähigkeit zur kritischen Bewertung neuer Methoden im Vergleich zur bestehenden Literatur und etablierten Benchmarks.
• Komfort beim Überprüfen wissenschaftlicher Ansprüche, einschließlich der Überprüfung technischer Argumente, experimenteller Beweise, Zitationen und, wo relevant, Codeimplementierungen.
• Starke analytische und wissenschaftliche Schreibfähigkeiten und Fähigkeit, nuancierte technische Urteile durch prägnantes, evidenzbasiertes Feedback zu artikulieren.
• Fähigkeit zur konsistenten Anwendung detaillierter Bewertungsrichtlinien und Punktesysteme unter Ausübung unabhängiger Expertenurteile.
• Außergewöhnliche Aufmerksamkeit für Details, insbesondere bei der Identifizierung subtiler methodologischer Mängel, unbegründeter Schlussfolgerungen oder Diskrepanzen zwischen Ansprüchen und Beweisen.

Vorteile

• Vollständig remote und flexibel – arbeiten Sie von überall.
• Teilzeit-Vertragsrolle mit flexiblen Stunden.
• Arbeiten Sie an der Bewertung von hochmodernen autonomen KI-Systemen, die in der Lage sind, umfassende wissenschaftliche Forschung durchzuführen.
• Wenden Sie Ihre Forschungsexpertise an, um die wissenschaftlichen Fähigkeiten von Grenz-KI-Agenten zu bewerten und voranzubringen.

Wenn zutreffend, würden wir auch gerne wissen, mit welchen ML/AI-Forschungsbereichen Sie am besten vertraut sind und ob Sie als Gutachter, Bereichsvorsitzender oder in einer ähnlichen Funktion bei wichtigen Forschungs-Konferenzen tätig waren. Wir freuen uns darauf, von Ihnen zu hören!