
393
anderer Kriterien zu bewerten2. Kritisch ist dabei die Auswahl der Zeitschriften, die
möglichst repräsentativ für das Feld sein sollte.
Neben diesem Einflussfaktor stellen die unscharfe Definition der zu messenden
Kriterien sowie nicht eindeutige Frageformulierungen besondere Probleme dar. Es bleibt
meist unklar, welche subjektive Bedeutung die Konzepte, wie etwa Qualität oder Prestige,
für die Befragten jeweils haben. Auch die verwendeten Antwortskalen können die
Ergebnisse beeinflussen. Meist werden Likert-Skalen eingesetzt, allerdings in vielen
verschiedenen Varianten, sowohl mit einer geraden Zahl an Antwortmöglichkeiten als auch
einer ungeraden. Teilweise wird auch eine ausgewählte Zeitschrift als Maßstab gewählt und
ihr der Wert 100 zugewiesen (Donohue/Fox 2000), Zeitschriften sind in die Kategorien A,
B und C einzuordnen (Luwel et al. 1999) oder es werden Semantische Differentiale genutzt
(Jakobovits/Osgood 1967). Schließlich bildet die Auswahl der Befragten einen kritischen
Punkt. Strittig ist, welche Experten in Frage kommen und ob sie Zeitschriften, die sie selbst
herausgeben oder in denen sie publizieren, bevorzugen. Insgesamt weisen Befragungen zur
Zeitschriftenbewertung also eine Reihe von Fallstricken auf. Nicht zuletzt fehlt den meisten
dieser Ranking-Studien ein expliziter theoretischer Rahmen.
Zitationsbasierte Ansätze vermeiden zwar viele dieser Probleme, haben aber ihre eigenen
Beschränkungen. Diese Ansätze beruhen auf der Annahme, dass Zeitschriften, deren
Artikel häufiger zitiert werden, einen größeren Impact haben als jene mit weniger zitierten
Artikeln. Eines der Hauptprobleme ist, dass entsprechende Rankings meist auf die Impact-
Faktoren bzw. Zitationsdaten der Journal Citation Reports zurückgreifen. Abgesehen von
der vielfach geübten Kritik am Impact-Faktor (vgl. z.B. Stock 2001; Glänzel/Moed 2002)
ist die fehlende Repräsentativität der ISI-Datenbanken problematisch. Das heißt, die
Ergebnisse eines auf Impact Faktoren basierenden Rankings werden stark vom Anteil der
Literatur eines Feldes, der in den Zitationsdatenbanken enthalten ist, beeinflusst. Es ist
bekannt, dass die Zeitschriftenabdeckung der ISI-Datenbanken in vielen Disziplinen der
Sozialwissenschaften unzureichend ist und andere Publikationstypen wie Monographien
oder Sammelwerksbeiträge gar nicht indexiert werden (Archambault/Vignola Gagne 2004).
Das bedeutet einerseits, dass die in den Journal Citation Reports aufgeführten Impact-
Faktoren der Zeitschriften in diesen Feldern nicht ihrem tatsächlichen Impact entsprechen
und andererseits, dass für einen großen Teil der Zeitschriften überhaupt keine Impact-
Faktoren verfügbar sind.
Als Alternative zu diesen beiden Methoden schlägt Holsapple (2008, 2009) daher für
sein Fachgebiet Information Systems (IS) als einen neuen Ansatz den „publication power
approach“ (im Folgenden PPA) vor. Dieser Ansatz bewertet Zeitschriften anhand des
Publikationsverhaltens von Forschern herausragender Universitäten (Abbildung 1).
2 Teilweise werden sie auch in einer offenen Frage gebeten die wichtigsten Zeitschriften ihres Feldes zu nennen.
Dabei besteht die Gefahr, dass wichtige Titel vergessen werden, während die Vorgabe von Titeln und ihre
Anordnung, speziell bei sehr langen Listen, auch die Bewertung beeinflussen können.