Komplexe Kopf-/Gesicht-basierte Geräte werden zukünftig durch eine Kombination aus veränderter Konsumenteinstellung und technischem Fortschritt zunehmend für die Verwendung in alltäglichen Situationen in Frage kommen. Die Entwicklung solcher Systeme ist bereits so weit fortgeschritten, dass erste Produkte im Handel erhältlich sind und die Forschung weiter fortschreitet – vom leichten Verbraucher-EEG über In-Ear-Kopfhörer mit IMU, Pulssensor, Knochenmikrofon und Gestensteuerung, über Schlafüberwachungskopfhörer mit EEG, leichte Eyetracker bis hin zur Augmented-Reality-Brille für Radfahrer. Bis dato betrachten die meisten Arbeiten jedoch spezialisierte Anwendungen mit einzelnen Sensormodalitäten. In diesem Projekt beabsichtigen wir, die wissenschaftlichen und technologischen Grundlagen einer hochmultimodalen, dynamisch adaptiven Kopf-/Gesicht-basierten Sensorien zu entwickeln, die für eine breite Palette von Anwendungen relevant ist.
Die Vision des Projekts kann wie folgt zusammengefasst werden:
Unter Berücksichtigung einer breiten Palette von Sensormodalitäten, von kommerziell erhältlichen Systemen wie mobilen EEG oder Eye-Tracking bis hin zu Sensormodalitäten, die von unserer Forschungsabteilung entwickelt wurden, wie textile Drucksensormatrizen und textile kapazitive Sensoren, werden wir folgende Fragen beantworten:
- Welche Informationen können von verschiedenen Arten von Sensoren an verschiedenen Stellen im Kopf-/Gesichtsbereich extrahiert werden?
- Was sind die Abwägungen zwischen Ergonomie und Benutzerakzeptanz einerseits, die sich aus den verschiedenen Sensorbereichen und Befestigungsmethoden ergeben, und andererseits dem Informationsgehalt und der Qualität der Signale?
- Wie können durch Ergonomieanforderungen bedingtes Rauschen und Informationsverlust durch geeignete Signalverarbeitung und Verknüpfung von verschiedenen Sensormodalitäten im Kopf-/Gesichtsbereich kompensiert werden?
- Wie können die von einer Vielzahl von Kopf-/Gesichtssensoren gelieferten Informationen verwendet werden, um semantisch bedeutsame „Gesichtsereignisse“ wie Veränderungen im Gesichtsausdruck, Aufmerksamkeitsverschiebungen, Kauen, Schlucken, Lachen, Husten, Seufzen (usw.) zu erkennen?
- Wie können wir über die Erkennung einfacher Einzelereignisse hinausgehen, hin zur Erkennung von Emotionen, kognitiver Belastung, kognitionsbezogenen Aktivitäten, Interaktionen und Ernährung?
Die Arbeit basiert auf klar definierten Anwendungsanforderungen, die von Domänenexperten bereitgestellt und in den entsprechenden Anwendungsbereichen ausgewertet werden. Dies wird zur Entwicklung einer leistungsfähigen, adaptiven Sensor- und Signalverarbeitungsarchitektur für die Erkennung von Kopf/Gesicht bezogenem Kontext führen, einschließlich der Implementierung einer ergonomischen, Smart-Glass ähnlichen Hardware und deren Evaluierung in realen Anwendungen, die von Projekten inspiriert sind die derzeit von unserer Forschungsgruppe durchgeführt werden. Dazu gehören tragbare Systeme für den naturwissenschaftlichen Unterricht, Unterstützung bei der Gruppenzusammenarbeit (aufbauend auf iGroups) und Gesundheitssektor (insbesondere Ernährungsmonitoring).
Partner
--
