Skip to main content Skip to main navigation

Projekt

GreifbAR

Greifbare Realität - geschickte Interaktion von Benutzerhänden und -fingern mit realen Werkzeugen in Mixed-Reality Welten

Greifbare Realität - geschickte Interaktion von Benutzerhänden und -fingern mit realen Werkzeugen in Mixed-Reality Welten

Am 01.10.2021 ist das Forschungsprojekt Projekt GreifbAR gestartet unter Leitung des DFKI (Forschungsbereich Erweiterte Realitaet). Ziel des Projekts GreifbAR ist es, Mixed-Reality Welten (MR), einschliesslig;lich virtueller (VR) und erweiterter Realitaet und Augmented Reality (AR), greifbar und fassbar zu machen, indem die Nutzer mit blossen Haenden mit realen und virtuellen Objekten interagieren koennen. Die Genauigkeit und Geschicklichkeit der Hand ist fuer die Ausfuehrung praeziser Aufgaben in vielen Bereichen von groeter Bedeutusstng, aber die Erfassung der Hand-Objekt-Interaktion in aktuellen MR-Systemen ist voellig unzureichend. Derzeitige Systeme basieren auf handgehaltenen Controllern oder Erfassungsgeraten, deie auf Handgesten ohne Kontakt mit realen Objekten beschraenkt sind. GreifbAR loest diese Einschraenkung, indem es ein Erfassungssystem einfuehrt, das sowohl die vollstaendige Handhalterung inklusiv Handoberfläche als auch die Objektpose erkennt, wenn Benutzer mit realen Objekten oder Werkzeugen interagieren. Dieses Erfassungssystem wird in einen Mixed-Reality-Trainingssimulator integriert, der in zwei relevanten Anwendungsfaellen demonstriert wird: industrielle Montage und Training chirurgischer Fertigkeiten. Die Nutzbarkeit und Anwendbarkeit sowie der Mehrwert für Trainingssituationen werden gründlich durch Benutzerstudien analysiert.

Partner

Berliner Charite (University Medicine Berlin) NMY (Mixed reality applications for industrial and communication customers) Uni Passau (Chair of Psychology with a focus on human-machine interaction).

Fördergeber

BMBF - Bundesministerium für Bildung, Wissenschaft, Forschung und Technologie

16SV8732

BMBF - Bundesministerium für Bildung, Wissenschaft, Forschung und Technologie

Publikationen zum Projekt

Ahmed Tawfik Aboukhadra; Jameel Malik; Ahmed Elhayek; Nadia Robertini; Didier Stricker

In: Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). IEEE Winter Conference on Applications of Computer Vision (WACV-2023), January 3-7, Waikoloa, Hawaii, USA, Pages 1001-1010, IEEE, 2023.

Zur Publikation

Yongzhi Su; Mahdi Saleh; Torben Fetzer; Jason Raphael Rambach; Nassir Navab; Benjamin Busam; Didier Stricker; Federico Tombari

In: IEEE/CVF. International Conference on Computer Vision and Pattern Recognition (CVPR-2022), June 19-24, New Orleans, Louisiana, USA, IEEE/CVF, 2022.

Zur Publikation