Sprache ist implizit - sie lässt Informationen aus. Um diese Informationslücke zu füllen, sind kontextabhängige Inferenz, Hintergrund- und Allgemeinwissen sowie Schlussfolgerungen über den situativen Kontext erforderlich. Zudem entwickelt sich Sprache weiter, d.h. sie spezialisiert und verändert sich im Laufe der Zeit. Zum Beispiel gibt es viele verschiedene Sprachen und Domänen, neue Domänen entstehen, und beides entwickelt sich ständig weiter. Daher erfordert Sprachverständnis auch eine kontinuierliche und effiziente Anpassung an neue Sprachen und Domänen und den Transfer zu und zwischen beiden. Aktuelle sprachtechnologische Methoden des Sprachverstehens konzentrieren sich jedoch auf ressourcenreiche Sprachen und Domänen, verwenden wenig bis keinen Kontext und gehen von statischen Daten-, Aufgaben- und Zielverteilungen aus.
Die Forschung in Cora4NLP adressiert diese Herausforderungen.. Sie baut auf der Expertise und den Ergebnissen des Vorgängerprojekts DEEPLEE auf und wird gemeinsam von den sprachtechnologischen Forschungsabteilungen in Berlin und Saarbrücken durchgeführt. Konkret ist es unser Ziel, Methoden des natürlicher Sprachverstehens zu entwickeln, die folgendes ermöglichen:
- Schlussfolgerungen über breitere Ko- und Kontexte;
- effiziente Anpassung an neuartige und/oder ressourcenarme Kontexte;
- kontinuierliche Anpassung an und Generalisierung über sich verändernde Kontexte.
Um dies zu erreichen, verfolgen wir die folgenden Forschungsrichtungen:
- Speicher- und sprachmodellbasiertes few- und zero-shot learning;
- Selbst- und schwach-überwachtes Pre-Training für ressourcenarme Domänen und Long-Tail-Klassen;
- mehrsprachige, Intra- und Inter-Dokument-, sowie Dialog-Kontext-Repräsentationen;
- Integration von strukturiertem Domänenwissen, Hintergrund- und Allgemeinwissen;
- Kontinuierliches Lernen für Open-Domain- und überwachte Aufgaben;
- multi-hop kontextuelles Schlussfolgern.
Die resultierenden Methoden werden im Kontext verschiedener Aufgaben zum Verstehen natürlicher Sprache angewendet, wie z.B. Informationsextraktion, Fragebeantwortung, maschinelle Übersetzung und Dialog.
