Das Forschungsprojekt “SignReality - Erweiterte Realität für die Übersetzung in Gebärdensprache” hat die Entwicklung eines Modells und einer Anwendung der erweiterten Realität (AR) zum Ziel, die eine animierte Dolmetscherin für die Deutsche Gebärdensprache (DGS) visualisiert. Das Projekt ist eine Kooperation der Abteilungen DFKI-DRX und der Affective Computing Gruppe des DFKI-COS und ist Teil der Aktivitäten des breiteren DFKI Teams für die Gebärdensprache, das sich über 4 Abteilungen erstreckt und 2 EU-geförderte und 2 deutsch-geförderte Forschungsprojekte durchgeführt hat.
Die in SignReality entwickelte App wird es gehörlosen und schwerhörigen Nutzerinnen ermöglichen, im erweiterten oder virtuellen Raum eine persönliche Dolmetscherin zu haben, die Sprache und Text übersetzen kann. Sie werden in der Lage sein, die Dolmetscherin entsprechend den Bedürfnissen der Übersetzung zu positionieren und in der Größe zu verändern, basierend auf der Beobachtung, dass es für Gebärdende Personen z.B. besser ist, die Dolmetscherin neben der sprechenden Person zu haben, um den Inhalt der Übersetzung durch den direkten Blick auf die sprechende Person zu verbessern. Die Anwendung wird als Forschungsprototyp verwendet, um neuartige Methoden der Interaktion und der Bereitstellung von Inhalten zwischen gehörlosen und schwerhörigen Nutzerinnen und der sie umgebenden Umgebung zu untersuchen, mit dem Ziel, Kommunikationsbarrieren mit hörenden Menschen abzubauen.
Das Projekt hat eine Laufzeit von 8 Monaten und wird im Rahmen eines FSTP-Aufrufs des EU-Projekts UTTER (Unified Transcription and Translation for Extended Reality; EU Horizon unter Grant Agreement No 101070631) in Zusammenarbeit mit den Universitäten von Amsterdam und Edinburgh finanziert. UTTER zielt darauf ab, die Online- und hybride Interaktion auf die nächste Stufe zu heben, indem große Sprachmodelle eingesetzt werden, die sich auf Anwendungsfälle wie Videokonferenzen (Sprachdialog) und mehrsprachige Kundenbetreuung (Chat) konzentrieren.
Partner
University of Edinburgh, University of Amsterdam, IT Lisbon, NAV Labs Europe and Unbabel
