AI Research Engineer (Model Compression & Quantization)

Schliesse dich Tether an und forme die Zukunft der digitalen Finanzen. Bei Tether bauen wir nicht nur Produkte, wir leiten eine globale Finanzrevolution ein. Unsere fortschrittlichen Lösungen ermöglichen es Unternehmen – von Börsen und Wallets bis hin zu Zahlungsabwicklern und Geldautomaten – Reserve-gestützte Token nahtlos über Blockchains zu integrieren. Durch die Nutzung der Blockchain-Technologie ermöglicht Tether das Speichern, Senden und Empfangen digitaler Token sofort, sicher und global, und das zu einem Bruchteil der Kosten. Transparenz ist das Fundament unseres Handelns und sorgt für Vertrauen in jede Transaktion.

Als Mitglied unseres KI-Forschungsteams wirst du Innovationen in der Modellkompression und effizienten Bereitstellung für fortschrittliche multimodale KI-Systeme vorantreiben, einschließlich großer Sprachmodelle (LLMs) und Bild-Sprachmodelle (VLMs). Deine Arbeit wird sich darauf konzentrieren, den Modellfußabdruck und die Rechenkosten zu reduzieren, während die Genauigkeit erhalten bleibt, um leistungsstarke KI effizient auf ressourcenbeschränkten Edge-Geräten auszuführen. Du wirst Kompressionstechniken wie Quantisierung, Wissensdestillation und Pruning anwenden und weiterentwickeln, um komplexe multimodale Architekturen zu optimieren, die Text, Bilder und Audio integrieren.

Wir erwarten von dir tiefgehende Expertise in Methoden zur Modellkompression und einen starken Hintergrund in multimodalen Modellarchitekturen. Du wirst einen praktischen, forschungsgetriebenen Ansatz verfolgen, um neuartige Kompressionsstrategien zu entwickeln, zu testen und umzusetzen, die Modellgröße, Latenz, Durchsatz und Genauigkeit in Einklang bringen. Zu deinen Aufgaben gehören der Aufbau robuster Kompressionspipelines, die Festlegung von Leistungs- und Treuekennzahlen sowie die Behebung von Engpässen in der Produktionsinferenz. Das ultimative Ziel ist die Bereitstellung skalierbarer, speichereffizienter, latenzarmer KI-Systeme auf Edge-Geräten (z.B. Smartphones), die hohe Treue und greifbaren realen Wert erhalten.

• Wende Low-Bit-Quantisierung an, um die Modellgröße und Inferenzlatenz für generative KI-Modelle (LLMs, VLMs, multimodal) zu reduzieren, während Genauigkeit und Ausgabequalität erhalten bleiben.
• Nutze Wissensdestillation, um Fähigkeiten von größeren Lehrer-Modellen auf kleinere Schüler-Modelle zu übertragen und effizientes multimodales Denken über Text-, Bild- und Audioeingaben zu ermöglichen.
• Implementiere Pruning-Techniken, um redundante Parameter und Aufmerksamkeitsköpfe zu entfernen und den Rechenaufwand zu reduzieren, ohne die Aufgabenleistung zu beeinträchtigen.
• Analysiere die Trade-offs zwischen Modelleffizienz (Größe, Latenz, Speicher) und Genauigkeit über Quantisierungs-, Destillations- und Pruning-Methoden; schlage Verbesserungen basierend auf empirischen Ergebnissen vor.
• Forsche und wende gemischte Präzisionsquantisierung und andere fortschrittliche Kompressionsstrategien an, um das Gleichgewicht zwischen Genauigkeit und Leistung zu optimieren.
• Bleibe über die neuesten Forschungen zur Modellkompression informiert, einschließlich neuer Techniken für multimodale und generative Architekturen.
• Dokumentiere Methoden, Experimente und Ergebnisse klar, um Reproduzierbarkeit, interne Zusammenarbeit und Kommunikation mit Stakeholdern zu unterstützen.
• Verfasse technische Arbeiten und veröffentliche Ergebnisse auf erstklassigen Konferenzen (z.B. NeurIPS, ICML, ICLR, CVPR, ACL, AAAI), um das Feld der Modellkompression für multimodale KI voranzutreiben.

Ein Abschluss in Informatik oder einem verwandten Bereich. Idealerweise ein Doktortitel in NLP, Maschinellem Lernen oder einem verwandten Bereich, ergänzt durch eine solide Erfolgsbilanz in der KI-Forschung und -Entwicklung (mit guten Veröffentlichungen in A*-Konferenzen).

Erfahrung mit PyTorch Deep Learning-Frameworks oder gleichwertigen Frameworks. Praktische Erfahrung mit Modellquantisierung, einschließlich Quantization-Aware Training (QAT) und Post-Training Quantization (PTQ). Forschung und praktische Erfahrung mit Wissensdestillation zur Kompression großer Modelle in kleinere, effiziente Modelle. Forschung und praktische Erfahrung mit Modellpruning zur Kompression großer Modelle in kleinere, effiziente Modelle. Solides Verständnis von neuronalen Netzwerkarchitekturen und Trainingsprozessen – einschließlich Transformer (z.B. LLMs, VLMs), Rückpropagation, Optimierung und Feinabstimmungstechniken. Vertrautheit mit C++ ist von Vorteil (insbesondere für die Implementierung von Low-Level-Quantisierungskernen oder Inferenzoptimierungen).