Projekt

IMPRESS

Verbesserte Wort- und Satzeinbettung mithilfe semantischen Wissens

Verbesserte Wort- und Satzeinbettung mithilfe semantischen Wissens

  • Laufzeit:
  • Anwendungsfelder
    Sonstige

Die meisten sprachverarbeitenden Systeme verwenden heutzutage Vektordarstellungen von Wörtern und Sätzen, sogenannte Wort- und Satzeinbettungen. Das Ziel hierbei ist eine abstrakte Darstellung der Semantik bei gleichzeitiger Dimensionsreduktion zu erhalten. Bei der Verarbeitung von Sprache in Kombination mit Sehen oder anderen sensorischen Modalitäten werden in ähnlicher Weise multimodale Einbettungen verwendet. Zwar verkörpern Einbettungen eine Form semantischer Verwandtschaft, doch deren Natur wird nicht expliziert. Das Fehlen präziser semantischer Deutlichkeit kann sich negativ auf nachgelagerte Verarbeitung auswirken.

IMPRESS untersucht die Integration von semantischem Wissen in sprachliche und multimodale Einbettungen und die erwarteten Verbesserungen für ausgewählte nachgelagerte Sprachverarbeitung. IMPRESS entwickelt Open-Source-Software und lexikalische Ressourcen, wobei der Schwerpunkt auf Videoaktivitätserkennung als praktische Anwendung liegt. Die meisten Forschungsarbeiten zu multimodalen Einbettungen verwenden Englisch als sprachliche Modalität. IMPRESS wird zusätzlich Französisch und Deutsch aufnehmen.

Partner

  1. DFKI 2. INRIA

Fördergeber

BMBF - Bundesministerium für Bildung und Forschung

01IS20076

BMBF - Bundesministerium für Bildung und Forschung

Projekt teilen auf:

Kontakt

Publikationen zum Projekt

Joseph Renner, Priyansh Trivedi, Tatiana Anikina, Natalia Skachkova

In: Juntao Yu, Sopan Khosla, Ramesh Manuvinakurike, Lori Levin, Vincent Ng, Massimo Poesio, Michael Strube, Carolyn Rose (Hrsg.). Proceedings of the CODI-CRAC 2022 Shared Task on Anaphora, Bridging, and Discourse Deixis in Dialogue. Workshop on Computational Models of Reference, Anaphora and Coreference (CRAC-2022) befindet sich COLING October 16-17 Gyeongju South Korea Seiten 15-27 Association for Computational Linguistics 10/2022.

Zur Publikation
Sharmila Upadhyaya, Siyu Tao, Natalia Skachkova, Tatiana Anikina, Cennet Oguz, Ivana Kruijff-Korbayová

In: Sopan Khosla, Ramesh Manuvinakurike, Vincent Ng, Massimo Poesio, Michael Strube, Carolyn Rosé (Hrsg.). Proceedings of the CODI-CRAC 2021 Shared Task on Anaphora, Bridging, and Discourse Deixis in Dialogue. Workshop on Computational Models of Reference, Anaphora and Coreference (CRAC-2021) befindet sich EMNLP 2021 November 10-11 Punta Cana Dominican Republic Seiten 63-70 Association for Computational Linguistics 11/2021.

Zur Publikation
Tatiana Anikina, Cennet Oguz, Natalia Skachkova, Ivana Kruijff-Korbayová

In: Sopan Khosla, Ramesh Manuvinakurike, Vincent Ng, Massimo Poesio, Michael Strube, Carolyn Rosé (Hrsg.). Proceedings of the CODI-CRAC 2021 Shared Task on Anaphora, Bridging, and Discourse Deixis in Dialogue. Workshop on Computational Models of Reference, Anaphora and Coreference (CRAC) CODI-CRAC 2021 Shared Task on Anaphora, Bridging, and Discourse Deixis in Dialogue befindet sich EMNLP November 10-11 Punta Cana Dominican Republic Seiten 32-42 Association for Computational Linguistics 11/2021.

Zur Publikation

Deutsches Forschungszentrum für Künstliche Intelligenz
German Research Center for Artificial Intelligence