Staff Machine Learning Engineer, LLM Inference Optimization in Zürich

Über Nebius: Nebius führt eine neue Ära in der Cloud-Infrastruktur für die globale KI-Wirtschaft an. Wir bauen eine Full-Stack-AI-Cloud-Plattform, die Entwickler und Unternehmen von der Daten- und Modellschulung bis hin zur Produktionsbereitstellung unterstützt, ohne die Kosten und die Komplexität des Aufbaus großer interner AI/ML-Infrastrukturen. Von Ingenieuren für Ingenieure gebaut. Von der großflächigen GPU-Orchestrierung bis zur Inferenzoptimierung lösen wir die schwierigen Probleme in den Bereichen Compute, Storage, Networking und angewandte KI.

Rollenübersicht: Die Nebius Token Factory entwickelt produktionsfähige Inferenz für Open-Source-, Kunden- und intern optimierte Modelle. Diese Rolle verantwortet den Weg vom Modellartefakt zu einem schnellen, zuverlässigen und kosteneffizienten Endpunkt. Die Arbeit befindet sich an der Schnittstelle von Modellinternas, Inferenzmaschinen, Servierungsarchitektur, Benchmarking und Produktionsbereitstellung.

Was Sie tun werden:

• Besitzen Sie ein plattformweites Optimierungspfeiler wie Quantisierung, spekulative Dekodierung, KV-Cache-Optimierung, Motorenauswahl oder Long-Context-Serving.
• Erstellen Sie wiederverwendbare Evaluierungs-, Benchmarking- und Rollout-Frameworks über mehrere Modellfamilien hinweg.
• Geben Sie technische Richtungen an MLEs, angewandte Wissenschaftler, GPU-Kernel-Ingenieure und Infrastruktur-Ingenieure zu gemeinsamen Leistungszielen.
• Optimieren Sie LLM- und VLM-Endpunkte hinsichtlich Latenz, Durchsatz, Speichereffizienz, GPU-Auslastung, Qualität und Kosten pro Token.
• Bereitstellen, Konfigurieren, Benchmarken und Erweitern von Inferenzmaschinen wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo oder ähnlichen Systemen.
• Modellkompressions-Workflows aufbauen und produktiv machen, einschließlich Quantisierung, quantisierungsbewusstem Training, Destillation, Low-Bit-Serving und Genauigkeitswiederherstellung.
• Implementieren oder integrieren Sie spekulative Dekodierung, Entwurf-Modellansätze, KV-Cache-Optimierung, Präfix-Caching, chunked prefill, kontinuierliches Batching und disaggregiertes prefill/decode serving.
• Reproduzierbare Benchmark-Harnesse für TTFT, TPOT, Tokens pro Sekunde pro GPU, p95/p99 Latenz, GPU-Speicher, Zuverlässigkeit und Kosten pro Token erstellen.
• Mit GPU-Kernel-Ingenieuren und Plattformingenieuren zusammenarbeiten, um Engpässe im Modellcode, in Kernen, Laufzeit, Scheduler, Gateway und Cluster-Schichten zu diagnostizieren.
• Klare Entwurfsdokumente, Leistungsberichte, Rollout-Pläne und kundenorientierte technische Erklärungen schreiben.

Erforderliche Qualifikationen:

• Starke Python- und PyTorch-Engineering-Fähigkeiten.
• Praktische Erfahrung in der Bereitstellung oder Optimierung von LLM-, VLM- oder hochdurchsatzfähigen Transformator-Inferenzsystemen.
• Praktisches Wissen über mindestens einen modernen Inferenz-Stack wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe oder gleichwertige interne Systeme.
• Starkes Verständnis von Engpässen bei der Transformator-Inferenz, einschließlich KV-Cache, Aufmerksamkeit, Speicherbandbreite, Batching, Parallelismus und Long-Context-Serving.
• Fähigkeit, quantitativ über Latenz, Durchsatz, Qualität, Auslastung und Kosten-Nutzen-Abwägungen nachzudenken.
• Starke Kommunikationsfähigkeiten und die Fähigkeit zur Zusammenarbeit mit Forschungs-, Kernel-, Infrastruktur-, Produkt- und Kunden-Teams.

Bevorzugte Qualifikationen:

• Erfahrung mit quantisierungsbewusstem Training, Post-Training-Quantisierung, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant oder verwandten Techniken.
• Erfahrung mit Destillation, spekulativer Dekodierung, EAGLE, Medusa, Multi-Token-Vorhersage oder anderen Methoden zur Beschleunigung der Inferenz.
• Erfahrung mit agentischen Workloads, einschließlich Tool-Calling, strukturierten Ausgaben, Streaming-APIs, hoher Parallelität und mehrstufiger Orchestrierung.
• CUDA- oder Triton-Vertrautheit, auch wenn die Rolle nicht primär eine Kernel-Engineering-Rolle ist.
• Open-Source-Beiträge zu vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe oder verwandten Projekten.

Vorteile & Vergünstigungen:

• Wettbewerbsfähige Vergütung
• Karrierewachstum und Lernmöglichkeiten
• Flexibilität und Eigenverantwortung
• Kollaborative und innovative Kultur
• Gelegenheit, an bedeutenden KI-Projekten zu arbeiten
• Internationales Umfeld und talentierte Teams

Wie es ist, bei Nebius zu arbeiten: Schnelllebig - Mutiges Denken - Ständiges Wachstum - Bedeutungsvolle Auswirkungen - Vertrauen und echte Verantwortung - Gelegenheit, die Zukunft der KI zu gestalten.

Gleichstellungserklärung: Nebius ist ein Arbeitgeber, der Chancengleichheit bietet. Wir setzen uns dafür ein, ein integratives und diverses Arbeitsumfeld zu fördern und Chancengleichheit in allen Aspekten der Beschäftigung zu gewährleisten. Wir diskriminieren nicht aufgrund von Rasse, Hautfarbe, Religion, Geschlecht (einschließlich Schwangerschaft), nationaler Herkunft, Abstammung, Alter, Behinderung, genetischen Informationen, Familienstand, Veteranenstatus, sexueller Orientierung, Geschlechtsidentität oder -ausdruck oder einer anderen durch geltendes Recht geschützten Eigenschaft. Bewerber müssen berechtigt sein, in dem Land zu arbeiten, in dem sie sich bewerben, und müssen einen Nachweis über die Beschäftigungsberechtigung als Bedingung für die Einstellung vorlegen. Wenn Sie während des Bewerbungsprozesses Unterstützung benötigen, lassen Sie es uns bitte wissen.