Postdoctoral Researcher (80%) in Language Model Interpretability and Digital Humanities in Basel

Die Digital Humanities Laboratories (DHLabs) an der Universität Basel sind eine interdisziplinäre Einheit für Forschung, Lehre und Infrastruktur zu technologischen und digitalen Welten in den Geistes- und Sozialwissenschaften. Innerhalb der DHLabs bringt contralab, die Forschungsgruppe von Prof. Dr. Ranjodh Singh Dhaliwal, maschinelles Lernen und NLP, literarische Geschichte und Theorie, Medienwissenschaften und STS sowie die Philosophie der Sprache zusammen.

Für das vierjährige Projekt "Eine Philologie probabilistischer Texte: Das Problem der Interpretation in der Künstlichen Intelligenz", finanziert durch den Schweizerischen Nationalfonds, sucht contralab einen Postdoktoranden (80%) ab dem 1. März 2027 oder nach Vereinbarung. Das Projekt untersucht, was große Sprachmodelle mit der Bedeutung tun, wenn sie historische Texte lesen: Es kartiert, wie sich Konzepte des 18. Jahrhunderts über Genres und Jahrzehnte in großen historischen Korpora verschieben, untersucht, wie fein abgestimmte Open-Weight-Modelle diese Konzepte repräsentieren, und veröffentlicht ein annotiertes Korpus von Modellabweichungen, einen offenen Benchmark für diachrone semantische Verständigung und eine Taxonomie der Arten, wie Modelle historische Texte missverstehen.

Ihre Position

• Sie leiten die rechnerischen Arbeiten des Projekts, co-supervised vom PI und dem Projektpartner Dr. Juan Luis Gastaldi (Sorbonne Universität und ETH Zürich).
• Ihre Aufgaben umfassen:
• Vorbereitung und Validierung der historischen Korpora (OCR-Qualität, Genre- und Datumsmetadaten) mit dem Forschungsassistenten des Projekts
• Feinabstimmung von Open-Weight-Sprachmodellen auf Periodentexten (fortgesetztes Pretraining mit parameter-effizienten Methoden wie LoRA)
• Aufbau der Attribution-Pipeline, mit token-level SHAP überprüft gegen Probing- und Kausalinterventionsmethoden
• Durchführung systematischer Modelltests und kontrollierter Prompting-Experimente mit den literarischen Historikern des Teams
• Leitung oder Co-Autorenschaft von Publikationen in NLP- und Machine-Learning-Veranstaltungen sowie Co-Autorenschaft der Publikationen des Projekts in den Geisteswissenschaften

Das Projekt unterstützt Ihr eigenes Forschungsprofil und Ihre weitere akademische Qualifikation.

Ihr Profil

• Ein Doktortitel (zum Zeitpunkt der Ernennung) in Informatik, NLP oder computerlinguistischen, maschinellen Lernens, digitalen oder computergestützten Geisteswissenschaften oder einem verwandten Bereich mit einem erheblichen rechnerischen Bestandteil
• Praktische Erfahrung im Training, der Feinabstimmung und Analyse von Transformer-Sprachmodellen in Python (PyTorch, Hugging Face), einschließlich auf GPU-Clustern
• Erfahrung mit Interpretierbarkeitsmethoden (Feature Attribution, Probing, Activation Patching, Sparse Autoencoders) und/oder beim Aufbau von Evaluierungsdatensätzen und Benchmarks
• Erfahrung im Entwerfen von Experimenten mit angemessenen Kontrollen, Baselines und statistischer Sorgfalt sowie reproduzierbarer Forschungssoftwarepraxis
• Ein ernsthaftes Interesse an historischen Texten, literarischer Theorie und der Philosophie der Sprache sowie an der genauen Analyse von Modellausgaben zusammen mit literarischen Historikern
• Starkes Englisch; Kenntnisse in Deutsch sind willkommen

Wünschenswert: Erfahrung mit historischen oder OCR-abgeleiteten Texten oder der Erkennung semantischer Veränderungen; Annotationstudien; veröffentlichte Datensätze oder Open-Source-Tools; Publikationen in NLP- oder ML-Veranstaltungen; Engagement mit literarischer Theorie, historischem Materialismus, Hermeneutik oder strukturalistischer oder historischer Linguistik.