Postdoctoral Researcher (80%) in Language Model Interpretability and Digital Humanities in Basel

Die Digital Humanities Laboratories (DHLabs) an der Universität Basel sind eine interdisziplinäre Einheit für Forschung, Lehre und Infrastruktur zu technologischen und digitalen Welten in den Geistes- und Sozialwissenschaften. Innerhalb der DHLabs bringt contralab, die Forschungsgruppe von Prof. Dr. Ranjodh Singh Dhaliwal, maschinelles Lernen und NLP, literarische Geschichte und Theorie, Medienwissenschaften und STS sowie die Philosophie der Sprache zusammen.

Für das vierjährige Projekt „Eine Philologie probabilistischer Texte: Das Problem der Interpretation in der Künstlichen Intelligenz“, finanziert durch den Schweizerischen Nationalfonds, sucht contralab einen Postdoktoranden (80%) ab dem 1. März 2027 oder nach Vereinbarung. Das Projekt untersucht, was große Sprachmodelle mit der Bedeutung tun, wenn sie historische Texte lesen: Es kartiert, wie sich Konzepte des 18. Jahrhunderts über Genres und Jahrzehnte in großen historischen Korpora verschieben, untersucht, wie fein abgestimmte Open-Weight-Modelle diese Konzepte repräsentieren, und veröffentlicht ein annotiertes Korpus von Modellabweichungen, einen offenen Benchmark für diachrone semantische Verständigung und eine Taxonomie der Arten, wie Modelle historische Texte missverstehen.

Ihre Position

• Sie leiten die rechnerischen Arbeiten des Projekts, co-supervised vom PI und dem Projektpartner Dr. Juan Luis Gastaldi (Sorbonne Universität und ETH Zürich).
• Ihre Aufgaben umfassen:
• Vorbereitung und Validierung der historischen Korpora (OCR-Qualität, Genre- und Datumsmetadaten) mit dem Forschungsassistenten des Projekts
• Feinabstimmung von Open-Weight-Sprachmodellen auf Periodentexten (fortgesetztes Pretraining mit parameter-effizienten Methoden wie LoRA)
• Aufbau der Attribution-Pipeline, mit token-level SHAP überprüft gegen Probing- und Kausalinterventionsmethoden
• Durchführung systematischer Modelltests und kontrollierter Prompting-Experimente mit den literarischen Historikern des Teams
• Leitung oder Co-Autorenschaft von Publikationen in NLP- und maschinellen Lernveranstaltungen sowie Co-Autorenschaft der Publikationen im Bereich Geisteswissenschaften des Projekts

Ihr Profil

• Eine Promotion (zum Zeitpunkt der Anstellung) in Informatik, NLP oder computerlinguistischen, maschinellen Lernen, digitalen oder computergestützten Geisteswissenschaften oder einem verwandten Bereich mit einem erheblichen rechnerischen Anteil
• Praktische Erfahrung im Training, der Feinabstimmung und Analyse von Transformer-Sprachmodellen in Python (PyTorch, Hugging Face), einschließlich auf GPU-Clustern
• Erfahrung mit Interpretierbarkeitsmethoden (Feature Attribution, Probing, Activation Patching, Sparse Autoencoders) und/oder beim Aufbau von Evaluierungsdatensätzen und Benchmarks
• Erfahrung im Entwerfen von Experimenten mit angemessenen Kontrollen, Baselines und statistischer Sorgfalt sowie reproduzierbarer Forschungssoftwarepraxis
• Ein ernsthaftes Interesse an historischen Texten, literarischer Theorie und der Philosophie der Sprache sowie an der engen Analyse von Modellausgaben zusammen mit literarischen Historikern
• Gute Englischkenntnisse; Kenntnisse der deutschen Sprache sind willkommen

Wünschenswert: Erfahrung mit historischen oder OCR-abgeleiteten Texten oder der Erkennung semantischer Veränderungen; Annotationstudien; veröffentlichte Datensätze oder Open-Source-Tools; Publikationen in NLP- oder ML-Veranstaltungen; Engagement mit literarischer Theorie, historischem Materialismus, Hermeneutik oder strukturalistischer oder historischer Linguistik.

Wir bieten Ihnen

• Eine Stelle für die Dauer des Projekts (48 Monate bei 80%): ein erster Vertrag von zwei Jahren, mit einer Verlängerung für die verbleibenden zwei Jahre nach positiver Überprüfung.
• Der Aufenthalt in der trinationalen Region Basel während dieses Projekts ist obligatorisch.
• Die Anstellungsbedingungen für Postdocs folgen den Richtlinien der Universität Basel und des SNSF: SNSF Gehaltsspannen und Richtlinien.
• Das Projekt bietet Zugang zu sciCORE, dem wissenschaftlichen Rechenzentrum der Universität und seinen GPU-Ressourcen.
• Unterricht im Programm der Digital Humanities kann arrangiert werden.
• Die Universität Basel steht für Exzellenz durch Vielfalt und setzt sich für Chancengleichheit und Familienfreundlichkeit ein.
• Internationale Bewerber sind willkommen; das Welcome & Euraxess Center unterstützt Umzugs- und Genehmigungsverfahren.