AI Evaluation Engineer

Diese Position wird im Auftrag eines Partnerunternehmens ausgeschrieben, das alle Bewerbungen und nächsten Schritte verwaltet. Unser Partner sucht einen AI Evaluation Engineer mit Sitz in der Schweiz.

Als AI Evaluation Engineer werden Sie die Evaluierungs-, Test- und Beobachtungsinfrastruktur entwerfen und aufbauen, die sicherstellt, dass produktionsreife KI-Agenten zuverlässig, sicher und effizient arbeiten. Sie entwickeln automatisierte Tests für komplexes Denken, mehrstufige Gespräche und Agenteninteraktionen, die APIs, Datenbanken und Codeausführungen umfassen. Sie erstellen skalierbare Evaluierungspipelines, die über traditionelle QA und manuelles Testen hinausgehen. Sie etablieren robuste Regressionstests, statistische Evaluierungsmethoden und adversarielle Szenarien, um Schwächen vor der Bereitstellung zu identifizieren. Diese Rolle bietet die Möglichkeit, eine Evaluierungsarchitektur von Grund auf zu übernehmen und dabei mit modernen KI-Technologien in einer vollständig remote und global verteilten Umgebung zu arbeiten. Ihre Arbeit trägt direkt zur Zuverlässigkeit, Sicherheit und kontinuierlichen Verbesserung fortschrittlicher KI-Systeme bei.

Verantwortlichkeiten

• Entwerfen, bauen und pflegen automatisierte CI/CD-Testpipelines zur Validierung des Verhaltens von KI-Agenten vor der Bereitstellung und während des gesamten Entwicklungszyklus.
• Entwickeln und pflegen von Gold-Datensätzen, die Regression-Prompts, Randfälle und synthetische Szenarien enthalten, um die Genauigkeit, Sicherheit, Leistung und Latenz von Agenten zu messen.
• Implementieren von schnellen, kosteneffektiven, deterministischen Evaluierungsprüfungen, bevor LLM-as-a-judge-Ansätze eingeführt werden, einschließlich JSON-Schema-Validierung, regulären Ausdrücken, API-Statusprüfungen und Einbettungsähnlichkeit.
• Erstellen umfassender Test-Suiten für mehrstufige Agentengespräche, die Kontextbeibehaltung, Zustandskonsistenz, Denkverhalten und Schutzmaßnahmen gegen unendliche Toolaufrufschleifen bewerten.
• Entwerfen und Implementieren adversarielle Testszenarien zur Bewertung der Widerstandsfähigkeit gegen Eingabeinjektionen, fehlerhafte Eingaben, unerwartete Toolantworten und andere potenzielle Sicherheitsanfälligkeiten.
• Aufbauen statistischer Evaluierungsrahmen zur Messung nicht-deterministischer KI-Verhaltensweisen anhand von Bestehensquoten über mehrere Durchläufe, Konfidenzintervallen und anderen quantitativen Zuverlässigkeitsmetriken.
• Integrieren von Evaluierungsworkflows in GitHub Actions oder vergleichbare CI-Systeme unter Verwendung von SDK-Level-Ausführung und automatisierten Testpraktiken.
• Implementieren von Beobachtungs- und Nachverfolgungslösungen mit Tools wie OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave oder gleichwertigen Plattformen zur Überwachung der Agentenausführung und Diagnose von Fehlern.
• Optimieren der Evaluierungseffizienz und -kosten durch Caching, Mocking und andere Techniken, die unnötige LLM-API-Aufrufe reduzieren.
• Validieren strukturierter Ausgaben, einschließlich JSON-Schemas, OpenAPI-Spezifikationen und Funktionsaufruf-Payloads, um sicherzustellen, dass Agenten zuverlässig mit externen Systemen interagieren.
• Bewerten und Verbessern der Agentenleistung unter Last, wobei variable Antwortzeiten und nicht-deterministisches Endpunktverhalten berücksichtigt werden.
• Unabhängig die Evaluierungsarchitektur entwerfen und besitzen, Best Practices, Teststandards und skalierbare Prozesse für die laufende Qualitätssicherung etablieren.

Anforderungen

• Starke Kenntnisse in Python oder TypeScript, insbesondere für API-Tests, headless Ausführung, asynchrone Programmierung und automatisierte Testsysteme.
• Praktische Erfahrung im Aufbau von LLM-Evaluierungspipelines, KI-Testframeworks oder statistischen Testsystemen, die in der Lage sind, die Leistung über wiederholte Durchläufe zu messen.
• Erfahrung in der Integration automatisierter Tests in CI/CD-Umgebungen, insbesondere GitHub Actions oder ähnlichen Plattformen, mit SDK-Level-Ausführung.
• Starke Expertise in der Validierung strukturierter Daten und Ausgaben, einschließlich JSON-Schema, OpenAPI-Spezifikationen und Funktionsaufruf-Payloads.
• Vertrautheit mit Beobachtungs- und Nachverfolgungstools wie OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave oder benutzerdefinierten Protokollierungslösungen.
• Fähigkeit, unabhängig eine Evaluierungsarchitektur von Grund auf zu entwerfen, zu implementieren und zu pflegen, mit einem starken Sinn für Eigenverantwortung und technischem Urteilsvermögen.
• Ausgezeichnete schriftliche und mündliche Englischkenntnisse, mit der Fähigkeit, technische Ergebnisse klar in einem verteilten Team zu kommunizieren.
• Verfügbarkeit, um sich mit den Geschäftszeiten der US-Zentralzeit für mindestens drei Stunden pro Tag zu überschneiden.
• Erfahrung mit Codeausführungs-Sandboxes oder KI-Agenten-Frameworks wie LangChain, LlamaIndex, AutoGen oder CrewAI.
• Starkes Verständnis von Einbettungsmodellen, Vektordatenbanken und deren Anwendungen in der KI-Evaluierung und ähnlichkeitbasiertem Testen.
• Erfahrung mit Lasttests nicht-deterministischer Endpunkte und der Bewertung des Systemverhaltens unter variierenden Arbeitslasten.
• Ein proaktiver, analytischer Ansatz zur Problemlösung, mit der Fähigkeit, unabhängig zu arbeiten, sich an sich entwickelnde Technologien anzupassen und kontinuierlich Testmethoden zu verbessern.

Vorteile

• Vollständig remote Arbeit: Arbeiten Sie von überall mit einer zuverlässigen Internetverbindung, mit der Flexibilität, Ihre bevorzugte Zeitzone und Arbeitszeiten zu wählen.
• Flexible Arbeitszeiten: Organisieren Sie Ihren Arbeitstag nach Ihrer Produktivität, während Sie die erforderliche Überschneidung mit der US-Zentralzeit aufrechterhalten.
• Berufliche Entwicklung: Zugang zu bezahlten Schulungen und anderen Möglichkeiten zur Erweiterung Ihrer technischen Expertise und Unterstützung Ihres Karrierewachstums.
• Moderne Technologie: Arbeiten Sie mit zeitgemäßen KI-Tools, Frameworks und Ingenieurpraktiken in einer Umgebung, die Innovation und kontinuierliche Verbesserung schätzt.
• Konsistente Projektmöglichkeiten: Profitieren Sie von einem stetigen Fluss an ansprechenden und herausfordernden Produktentwicklungsarbeiten.
• Leistungsanerkennung: Starke Leistungen und Engagement können durch jährliche Gehaltserhöhungen belohnt werden.
• Verhandelbare Vergütung: Ihr anfänglicher Stundensatz wird basierend auf Ihren Fähigkeiten, Erfahrungen und Qualifikationen festgelegt.
• Unabhängige Vertragsvereinbarung: Die Vergütung basiert auf geleisteten Stunden, mit monatlichen Zahlungen per Überweisung.
• Flexibles Arbeitsumfeld: Genießen Sie die Autonomie, in einem Umfeld zu arbeiten, das Ihre Konzentration, Unabhängigkeit und berufliche Entwicklung unterstützt.

Wie Jobgether funktioniert:

Wir verwenden einen KI-gestützten Matching-Prozess, um sicherzustellen, dass Ihre Bewerbung schnell, objektiv und fair anhand der Kernanforderungen der Rolle überprüft wird. Unser System identifiziert die am besten passenden Kandidaten, und diese Shortlist wird dann direkt mit dem einstellenden Unternehmen geteilt. Die endgültige Entscheidung und die nächsten Schritte (Interviews, Bewertungen) werden von ihrem internen Team verwaltet. Wir schätzen Ihr Interesse und wünschen Ihnen viel Erfolg!

Datenschutz-Hinweis:

Durch die Einreichung Ihrer Bewerbung erkennen Sie an, dass Jobgether Ihre personenbezogenen Daten verarbeitet, um Ihre Eignung zu bewerten und relevante Informationen mit dem einstellenden Arbeitgeber zu teilen. Diese Verarbeitung basiert auf berechtigtem Interesse und vorvertraglichen Maßnahmen gemäß den geltenden Datenschutzgesetzen (einschließlich DSGVO). Sie können Ihre Rechte (Zugriff, Berichtigung, Löschung, Widerspruch) jederzeit ausüben.