Evaluations Team Lead in Sachseln

Unser Partner sucht einen Evaluations Team Lead mit Sitz in der Schweiz. Als Evaluations Team Lead werden Sie gestalten, wie fortschrittliche KI-Modelle bewertet, validiert und in Produktionsumgebungen verbessert werden. Sie werden die Entwicklung einer gemeinsamen Evaluationsplattform leiten, die es Forschungs-, Ingenieur- und kundenorientierten Teams ermöglicht, die Modellleistung mit Vertrauen zu messen. Ihre Arbeit wird strenge Standards für Benchmarking, statistische Validierung, Datenqualität und Reproduzierbarkeit festlegen. Durch die Kombination von praktischer technischer Führung mit Personalmanagement werden Sie ein leistungsstarkes Team aufbauen und gleichzeitig eng in Code, Experimente und Methodik involviert bleiben. Sie werden die prädiktive Qualität, die Inferenzlatenz und die Kosteneffizienz bewerten, um Forschungsprioritäten und Produktveröffentlichungen zu steuern. Dies ist eine Gelegenheit, Evaluationspraktiken von Grund auf zu definieren und direkt den Einfluss und die Zuverlässigkeit von KI-Systemen der nächsten Generation zu beeinflussen.

Verantwortlichkeiten:

• Aufbau und Pflege einer gemeinsamen Evaluationsplattform, die Forschungs-, Ingenieur- und angewandte KI-Teams unterstützt und unabhängiges Benchmarking und Untersuchungen zur Modellleistung ermöglicht.
• Entwicklung und kontinuierliche Verbesserung von Benchmark-Suiten, kuratierten Datensätzen und Modellvergleichen zur Bewertung der prädiktiven Qualität über eine breite Palette von Geschäftsanwendungen.
• Festlegung strenger Evaluierungsstandards, die statistische Metriken, Validierungsstrategien, Datenaufteilungen, Verhinderung von Datenleckagen, Kalibrierung, Unsicherheitsabschätzung und Benchmark-Kontamination abdecken.
• Entwurf reproduzierbarer Evaluierungspipelines mit versionskontrollierten Eingaben, Datensätzen und Artefakten, Integration automatisierter Regressionstests in Forschungs- und Veröffentlichungsabläufe.
• Benchmarking von Modellen gegen konkurrierende Ansätze unter Verwendung fairer und konsistenter Protokolle für Hyperparameter-Tuning, Datenzugriff, Rechenressourcen und End-to-End-Latenzmessung.
• Bewertung der prädiktiven Leistung, Inferenzlatenz und Kosteneffizienz über Bereitstellungskonfigurationen, Aufgabentypen und Datensatzmerkmale.
• Unterstützung von Kunden-Proof-of-Concept-Evaluierungen durch Bereitstellung zuverlässiger Werkzeuge, methodologischer Anleitung und datengestützter Analysen zur Demonstration des Modellwerts.
• Übersetzung von Evaluierungsbefunden in umsetzbare Forschungsprioritäten, Veröffentlichungsempfehlungen und evidenzbasierte Verbesserungspläne für Kundenanwendungen.
• Rekrutierung, Leitung und Entwicklung eines kleinen Teams von Evaluationsspezialisten, Festlegung von Prioritäten, technischem Coaching und konstruktivem Leistungsfeedback.
• Engagierte Mitarbeit in der Python-Entwicklung, experimentellem Design, statistischer Analyse und Evaluierungsmethodik, während die Zusammenarbeit zwischen Forschungs-, Ingenieur- und kundenorientierten Teams gefördert wird.

Anforderungen:

• Nachgewiesene Erfahrung in der Bewertung tabellarischer maschineller Lernsysteme, die in Produktionsumgebungen oder bei hochwirksamen Kundenentscheidungen eingesetzt werden.
• Starke statistische Expertise, einschließlich der Auswahl geeigneter Metriken und Validierungsschemata, Schätzung von Unsicherheiten, Vergleich von Modellen über Datensätze hinweg und Berücksichtigung wiederholter Experimente.
• Praktische Erfahrung in der Identifizierung und Verhinderung von Datenleckagen, die Vorverarbeitung, Merkmalsengineering, Joins, zeitliche Abhängigkeiten und verwandte Entitäten über Trainings- und Evaluierungsaufteilungen umfassen.
• Starke Kenntnisse in Python und SQL, mit Vertrautheit mit scikit-learn, gradientenverstärkten Entscheidungsbäumen und der Entwicklung zuverlässiger ML-Tools oder -Plattformen, die von mehreren Teams genutzt werden.
• Nachgewiesene Erfahrung im Entwurf fairer und reproduzierbarer Modellvergleiche, einschließlich Hyperparameter-Optimierung, Ressourcenallokation und Messung der End-to-End-Inferenzlatenz.
• Frühere Erfahrung im Personalmanagement, einschließlich Einstellung, technischem Mentoring, Teamentwicklung und Leistungsmanagement, kombiniert mit der Bereitschaft, aktiv an technischen Arbeiten beteiligt zu bleiben.
• Exzellente schriftliche und mündliche Kommunikationsfähigkeiten, mit der Fähigkeit, effektiv mit Forschern, Softwareingenieuren und Kundendatenwissenschaftlern zusammenzuarbeiten.
• Ein stark analytisches Denken und das Vertrauen, unbegründete Schlussfolgerungen in Frage zu stellen, Unsicherheiten zu kommunizieren und sicherzustellen, dass technische Entscheidungen auf zuverlässigen Beweisen basieren.
• Erfahrung in der Bewertung tabellarischer Fundamentmodelle oder automatisierter maschineller Lernsysteme (AutoML) ist von Vorteil.
• Vertrautheit mit der Messung der Auswirkungen von Modelloptimierungen auf die prädiktive Leistung und Inferenzeffizienz ist wünschenswert.
• Erfahrung mit relationalen oder mehrtägigen Datensätzen und Datenplattformen wie Snowflake oder Databricks ist ein Plus.
• Kenntnisse über automatisierte oder agentengesteuerte maschinelle Lernabläufe, einschließlich der Identifizierung von Fehlermodi, die aggregierte Metriken verbergen können, sind von Vorteil.

Vorteile:

• Wettbewerbsfähiges Vergütungspaket, das Gehalt und Eigenkapital kombiniert.
• Umfassende Gesundheitsversorgung für Mitarbeiter und deren Angehörige.
• Bezahlter Elternurlaub für alle neuen Eltern, einschließlich Adoptiv- und Leihmutterschaft.
• Umzugshilfe für Mitarbeiter, die zum Team an einem der Bürostandorte des Unternehmens wechseln.
• Remote-Arbeitsmöglichkeiten an berechtigten Standorten in Europa und Israel.
• Die Möglichkeit, Evaluierungsstandards festzulegen und eine neue Funktion von Grund auf aufzubauen, mit erheblichem technischem Eigentum und Einfluss.
• Eine missionarisch orientierte, kollaborative und egoarme Kultur, die unterschiedliche Perspektiven, individuelles Eigentum und proaktive Entscheidungsfindung schätzt.
• Die Möglichkeit, an fortschrittlicher KI-Forschung zu arbeiten und die Zuverlässigkeit, prädiktive Leistung und Effizienz von Unternehmens-KI-Systemen zu verbessern.