In: Benjamin Weiss Stefan Hillmann (editor). Tagungsband der 32. Konferenz. Elektronische Sprachsignalverarbeitung (ESSV-2021) March 3-5 Berlin/Virtual Germany TUDpress 2021.
Abstract
In der Praxis sind Dialogsysteme oft modular aufgebaut. In dieser Arbeit wird untersucht, wie eine gemeinsame Intent-Recognition mehrerer unabhängiger Module in einem einzigen Meta-Chatbot zusammengeführt werden kann. Dazu führen wir Experimente durch, bei denen die Qualität von Natural Language Understanding in modularen Chatbots verschiedener Größe (gemessen an der Zahl der Intents) miteinander verglichen wird. Außerdem werden verschiedene Normalisierungsmethoden miteinander verglichen. Die Experimente zeigen, dass das verteilte Szenario über mehrere Chatbots eine zusätzliche Fehlerquelle darstellt und dass die F1 Scores sinken mit steigender Anzahl von Modulen. Wenn ein großes und ein kleines Modul aufeinandertreffen, so sinken die F1-Scores ebenfalls je stärker der Größenunterschied ausgeprägt ist. Darüberhinaus zeigen wir, dass für die Modulauswahl die Konfidenzen der Modelle für die Intenterkennung eine starke Baseline darstellen und durch unterschiedliche Normalisierungen nur leicht verbessert werden können.
