Zusammensetzung des Korpus
Audio
Das VOICE Awards Korpus enthält Audiodaten in separaten .wav Dateien für alle Dialoge. Die Dateien wurden in a single channel für System und Benutzer aufgenommen, und der Bereich Audioqualität ist beachtlich.
Transkription
Das VOICE Awards Korpus wurde mit dem Programm Transcriber manuell transkribiert. Für die Qualitätssicherung wurden Skripte zur Rechtschreibkontrolle und weiteren qualitativen Kontrollen der Transkriptionen ausgeführt.
Während der Transkription wurde eine Unterteilung in Turns durchgeführt, die Start- und Endzeiten eines Turns beinhalten, sowie den Sprecher und Überlappungen von Äußerungen. Für die Weiterverarbeitung wurden die resultierenden Dateien mit Hilfe des Skriptes trs2nxt.prl in das NXT-Format konvertiert.
Annotationen
Mit dem NITE XML Toolkit ist der VOICE Awards Korpus by a single-pass process handannotiert worden. Die Annotationslevel sind Dialogakte, Marker für Fehlkommunikation oder Fehler, Erfolg bei einzelnen Aufgaben und Wiederholungen. Da die Annotationen zum Lernen von Dialog- und Fehlerstrategien durch Benutzersimulation dienen, wurden nur Informationen verwendet, die während der Benutzung eines Sprachdialogsystems in Echtzeit gewonnen werden können.
Die Tablle unten zeigt eine Übersicht über die möglichen Optionen der Annotation. Eine ausführliche Beschreibung jeder Option ist in den Annotationsleitlinien zu finden.
| Dialogakt | |
|---|---|
| social | hello, bye, thank, sorry |
| request | open_question, request_info, yes_no_question, alternative_question |
| confirmation | implicit_confirm, explicit_confirm |
| metacommunication | instruction, repeat_please, request_instruction |
| answer | provide_info, accept, reject |
| other | noise, other |
| Erfolg | |
| success | task_success, subtask_complete |
| failure | system/user_abort, abort_subtask, escalated, other_failure |
| Fehler | |
| error | not_understand, misunderstand, state_error, no_input, bad_input |
| other miscommunication | self_correct, system_command, other_error |
| Wiederholung | |
| answer | repeat_answer |
| prompt | repeat_prompt |
Zusätzliche, potenziell hilfreiche Annotationen werden automatisch vorgenommen. Darunter sind:
- Antorttyp für die Benutzereingabe: Satz, Phrase/Fragment, Schlüsselwort
- Dialogdauer
- Turn-Dauer
- Länge der Dialoge, Turns, Systemprompts und Benutzereingaben
Benutzerurteile
Ebenfalls im Korpus vorhanden sind Benutzerurteile aller Laien, die nach jedem Gespräch einen Fragebogen zur Benutzerfreundlichkeit ausgefüllt haben. Diee Fragen bezogen sich auf die Bereiche Verständlichkeit/Lernbarkeit, Effektivität der Bedienung, Fehler und Fehlerbehandlung, "Hear & Feel" und allgemeine Akzeptanz.