Sprachtechnologie und Multilingualität

Moderne NLP-Modelle und LLMs haben trotz ihrer hohen Leistungsfähigkeit spezifische Schwächen: Erstens sind sie Black Boxes: Parameter proprietärer Modelle sind überhaupt nicht zugänglich; und selbst nicht-proprietäre Modelle sind weitgehend undurchsichtig in dem Sinne, dass es unklar ist, wo genau spezifisches Wissen in potenziell Milliarden von Parametern kodiert ist. Zweitens besteht die Tendenz, die Größe der LLMs und der Trainingsdaten immer weiter zu erhöhen, um die Leistung zu verbessern, was vor allem bei Domänen oder Sprachen mit weniger Ressourcen problematisch ist.

Die E&E-Gruppe des Forschungsbereichs Sprachtechnologie und Multilingualität arbeitet an transparenten und effizienten NLP-Modellen. Unser Ziel ist es, die Parameter und das Verhalten von LLMs sowohl für Endbenutzer als auch für Forscher erklärbar und verständlich zu machen. Wir versuchen, LLMs im Hinblick auf den Datenverbrauch zu verbessern, z. B. für Bereiche oder Sprachen, in denen Daten knapp sind, indem wir strukturierte Daten, neue Lerntechniken oder andere Modalitäten verwenden; und im Hinblick auf die Modellgröße, z. B. für Umgebungen, in denen keine leistungsstarke Hardware verfügbar ist.

Wir sind an Twinning-Projekten beteiligt, bei denen wir einen Wissenstransfer sowohl zu Forschungsthemen als auch zum Projektmanagement an neu gegründete Forschungseinrichtungen in ganz Europa leisten. Wir sind an europäischen Procurement-Projekten beteiligt, die sich auf Sprachressourcen konzentrieren, wie z. B. die European Language Resource Coordination und der Language Data Space.