|
Zu
deutlicher Verwirrung führte ein vom populärwissenschaftlichen
Journal Bild der Wissenschaft (bdw Ausgabe 2/99) durchgeführtes
“Ranking” der Bedeutung der KI-Forschung in Deutschland. Demzufolge
würde das DFKI sowohl bei den Aktiven Top Ten (nach Anzahl
der Zeitschriftenveröffentlichungen) als auch bei den “Einflußreichen”
(Gewichtung nach Zitaten) auf Platz 8 landen! Einer Überprüfung
durch die DFKI-Bibliotheksleiterin, Iris Merget, hielt dieses
Ergebnis in keiner Weise stand. Aus folgenden Gründen ist
der bdw-Index falsch:
- Zwar
ist es insbesondere in den USA üblich, solche Rankings aufgrund
von Auswertungen eines Citation Index zu erhalten, aber
in den meisten Fällen wird sehr viel differenzierter ermittelt,
als die Autoren des bdw-Rankings recherchiert haben: chronologische
Verteilung der Zitierungen, Konzentration der Zitierungen
um wenige Papiere oder Verteilung auf viele, Interdisziplinarität
und Internationalität der Zitierungen, Qualität und “Impact”
der zitierten Zeitschrift, Deckung des ausgewerteten Index
bzgl. des ausgewerteten Gebiets müssen berücksichtigt werden.
Gerade im Forschungsgebiet der Künstlichen Intelligenz wäre
solch ein Ranking aber selbst bei einer korrekten Durchführung
nur bedingt wertbar.
- Bei
einer Bewertung über ein Citation Index werden nur Artikel
in Fachjournalen erfaßt. Die Publikationskultur in der KI
stützt sich aber neben Journals auch stark auf andere Fachorgane.
Einflußreiche Arbeiten werden in der Regel lange vor der
Zeitschriftenveröffentlichung in Workshops und Konferenzen
präsentiert und entsprechend auch dort von anderen Autoren
zitiert. Eine Zählung der DFKI-Veröffentlichungen in 97/98
ergab die stolze Zahl von 402 Publikationen.
- Die
Autoren haben mit ihrer Einschränkung auf den Science Citation
Index (SCI) die Suche zu eng gefaßt, um den Inhalten der
KI gerecht zu werden. So wurden z.B. sämtliche Veröffentlichungen
aus dem Bereich Sprachtechnologie nicht erfaßt, da diese
wohl eher im Social Science Citation Index (SSCI) aufzufinden
wären.
- Die
gewählte Selektionsmethode deckte darüber hinaus selbst
im SCI nur einen Teil der Journale ab, in denen KI-Artikel
zu finden sind.
- Die
genannten 12 Artikel in Fachjournalen, die den Platz des
DFKI unter den “Aktiven Top ten” begründen sollen, geben
aber gerade die Hälfte der im Evaluationszeitraum vom DFKI
in internationalen, hochrangigen Fachzeitschriften wieder.
So wurden u.a. DFKI-Artikel im Journal of Automated Reasoning
oder im Journal of Theoretical Computer Science (beide im
SCI vertreten) nicht gezählt – zwar nicht gerade die typischen
AI-Journals, aber hoch renommiert und auch von KI-Wissenschaftlern
für ihre Veröffentlichungen genutzt.
- Da
die Zitierungsraten ebenfalls auf dieser Basis erhoben wurde,
ist auch dieses Ranking verfälscht. Denn gerade hier darf
der Einfluß auch außerhalb einschlägiger KI-Journale auf
keinen Fall vernachlässigt werden.
Zwar wirkt
sich diese Kritik am bdw-Ranking auch auf die anderen Institute
aus, aber die Beschränkung auf den SCI und die einseitige
Selektionsmethode wirkt sich u.U. deutlich unterschiedlich
aus – je nach KI-spezifischer Ausrichtung der Institute. Wegen
dieser augenfälligen Mängel der bdw-Studie haben wir die Einstellung
des verfälschenden Verfahrens gefordert.
H.-J.
Bürckert und I. Merget
|
|
|
zurück
zum Index |
|
Research
Fellows am DFKI |
|
Die
20. WBR-Sitzung |
|
Veröffentlichungen |
|
Alumni-Treffen
und Events |
|
Forschungsbereich
Deduktion und Multiagentensysteme |
|
Bild
der Wissenschaft:
DFKI nicht an erster Stelle? |
|
Das Virtual Office Projekt |
|
Verein
der Freunde und Förderer des DFKI |
|
Der
Stellenmarkt |
|
Die
Seite der Geschäftsleitung |
|
Impressum |
|