Skip to main content Skip to main navigation

Projekt

TextQ

Analyse und automatische Abschätzung der Qualität maschinell generierter Texte

  • Laufzeit:

Das Forschungsvorhaben beschäftigt sich mit der wahrgenommenen Qualität von maschinell generierten Texten. Der Fokus liegt hierbei auf den beiden Texttypen maschinelle Übersetzung und maschinelle Zusammenfassung. Ziel des Projektes ist es, perzeptive Qualitätsdimensionen zu identifizieren, subjektive Methoden zu ihrer Quantifizierung bereitzustellen, automatisiert extrahierbare Parameter zu bestimmen, die mit der Textqualität korrelieren und daraus Vorhersagemodelle zu entwickeln, welche eine Schätzung der Gesamtqualität eines maschinell generierten Textes liefern können.Die Entwicklung der Vorhersagemodelle erfolgt mittels verschiedener Korpora für die deutsche und englische Sprache. Auf Basis dieser Korpora werden für die Qualitätsschätzung relevante Dimensionen bestimmt und in Probandentests (durch Crowdsourcing und im Labor) überprüft. Für jede identifizierte Qualitätsdimension werden relevante Textparameter automatisiert aus den Texten extrahiert, und diese mit den subjektiven Dimensionsbewertungen korreliert. Auf Basis der Parameter werden Vorhersagemodelle für beide Texttypen erstellt, sowohl für einzelne Qualitätsdimensionen wie auch für die Gesamtqualität, und bezüglich der Unterschiede zwischen den Texttypen analysiert. Abschließend werden diese Vorhersagemodelle in einer unabhängigen Testreihe auf ihre Generalisierbarkeit getestet.

Fördergeber

DFG - Deutsche Forschungsgemeinschaft

MO 1038/31-1, 436813723

DFG - Deutsche Forschungsgemeinschaft

Projekt teilen auf:

Keyfacts

Publikationen zum Projekt

Linguistically Motivated Evaluation of the 2023 State-of-the-art Machine Translation: Can GPT-4 Outperform NMT?

Shushen Manakhimova; Eleftherios Avramidis; Vivien Macketanz; Ekaterina Lapshinova-Koltunski; Sergei Bagdasarov; Sebastian Möller

In: Proceedings of the Eighth Conference on Machine Translation (WMT). Conference on Machine Translation (WMT-2023), located at The 2023 Conference on Empirical Methods in Natural Language Processing, December 6-7, Singapore, Singapore, Association for Computational Linguistics, 12/2023.

Zur Publikation

Findings of the 2023 Conference on Machine Translation (WMT23): LLMs Are Here but Not Quite There Yet

Tom Kocmi; Eleftherios Avramidis; Rachel Bawden; Ondrej Bojar; Anton Dorkovich; Christian Federmann; Mark Fishel; Markus Freitag; Thamme Gowda; Roman Grundkiewicz; Barry Haddow; Philipp Koehn; Benjamin Marie; Christof Monz; Makoto Morishita; Kenton Murray; Makoto Nagata; Toshiaki Nakazawa; Martin Popel; Maja Popovic; Mariya Shmatova

In: Philipp Koehn; Barry Haddow; Tom Kocmi; Christof Monz (Hrsg.). Proceedings of the Eighth Conference on Machine Translation. Conference on Machine Translation (WMT-2023), located at EMNLP2023, December 6-7, Singapore, Singapore, Pages 1-42, Association for Computational Linguistics, 12/2023.

Zur Publikation

Results of WMT23 Metrics Shared Task: Metrics Might Be Guilty but References Are Not Innocent

Markus Freitag; Nitika Mathur; Chi-kiu Lo; Eleftherios Avramidis; Ricardo Rei; Brian Thompson; Tom Kocmi; Frederic Blain; Daniel Deutsch; Craig Stewart; Chrysoula Zerva; Sheila Castilho; Alon Lavie; George Foster

In: Philipp Koehn; Barry Haddow; Tom Kocmi; Christof Monz (Hrsg.). Proceedings of the Eighth Conference on Machine Translation. Conference on Machine Translation (WMT-2023), located at EMNL2023, December 6-7, Singapore, Singapore, Pages 578-628, Association for Computational Linguistics, 12/2023.

Zur Publikation
Alle Publikationen