Projekt

TextQ

Analyse und automatische Abschätzung der Qualität maschinell generierter Texte

  • Laufzeit:

Das Forschungsvorhaben beschäftigt sich mit der wahrgenommenen Qualität von maschinell generierten Texten. Der Fokus liegt hierbei auf den beiden Texttypen maschinelle Übersetzung und maschinelle Zusammenfassung. Ziel des Projektes ist es, perzeptive Qualitätsdimensionen zu identifizieren, subjektive Methoden zu ihrer Quantifizierung bereitzustellen, automatisiert extrahierbare Parameter zu bestimmen, die mit der Textqualität korrelieren und daraus Vorhersagemodelle zu entwickeln, welche eine Schätzung der Gesamtqualität eines maschinell generierten Textes liefern können.Die Entwicklung der Vorhersagemodelle erfolgt mittels verschiedener Korpora für die deutsche und englische Sprache. Auf Basis dieser Korpora werden für die Qualitätsschätzung relevante Dimensionen bestimmt und in Probandentests (durch Crowdsourcing und im Labor) überprüft. Für jede identifizierte Qualitätsdimension werden relevante Textparameter automatisiert aus den Texten extrahiert, und diese mit den subjektiven Dimensionsbewertungen korreliert. Auf Basis der Parameter werden Vorhersagemodelle für beide Texttypen erstellt, sowohl für einzelne Qualitätsdimensionen wie auch für die Gesamtqualität, und bezüglich der Unterschiede zwischen den Texttypen analysiert. Abschließend werden diese Vorhersagemodelle in einer unabhängigen Testreihe auf ihre Generalisierbarkeit getestet.

Projekt teilen auf:

Kontakt
Prof. Dr.-Ing. Sebastian Möller
Prof. Dr.-Ing. Sebastian Möller

Keyfacts

Publikationen zum Projekt

Vivien Macketanz, Eleftherios Avramidis, Aljoscha Burchardt, He Wang, Shushen Manakhimova, Sebastian Möller, Hans Uszkoreit

In: Proceedings of the Language Resources and Evaluation Conference. International Conference on Language Resources and Evaluation (LREC) Marseille France Seiten 936-947 European Language Resources Association 6/2022.

Zur Publikation
Mariana Avelino, Vivien Macketanz, Eleftherios Avramidis, Sebastian Möller

In: Vládia Pinheiro, Pablo Gamallo, Raquel Amaro, Carolina Scarton, Fernando Batista, Diego Silva, Catarina Magro, Hugo Pinto (Hrsg.). 15th International Conference of Computational Processing of the Portuguese Language. Computational Processing of the Portuguese Language (PROPOR-2022) March 21-23 Fortaleza Brazil Seiten 15-25 ISBN 978-3-030-98305-5 Springer International Publishing 3/2022.

Zur Publikation
Shushen Manakhimova, Eleftherios Avramidis, Vivien Macketanz, Sebastian Möller

In: Proceedings of the Sixth Conference on Machine Translation. Conference on Machine Translation (WMT-2021) Online Seiten 1059-1073 Association for Computational Linguistics 11/2021.

Zur Publikation

Deutsches Forschungszentrum für Künstliche Intelligenz
German Research Center for Artificial Intelligence