Schwellenwert: Erst ab 25 Bewertungen werden Zeitschriften im VHB-JOURQUAL ausgewiesen.

• „Der gegenwärtige Vorschlag sieht vor, Zeitschriften nur dann zu berücksichtigen, wenn mindestens 25 Bewertungen vorliegen. Dies impliziert die Annahme, dass die Anzahl der Vertreter in den einzelnen wissenschaftlichen (Teil-)disziplinen etwa gleichverteilt ist. Dies ist allerdings nicht der Fall! In der Teildisziplin „Wirtschaftsprüfung“ ist die Anzahl der Forschenden außerordentlich gering, sodass allein aufgrund dieses – aus meiner Sicht willkürlich festgelegten – Schwellenwertes Forschende in diesem Gebiet systematisch benachteiligt würden. Vielmehr wäre davon auszugehen, dass international erstklassig gerankte Zeitschriften mit dem Schwerpunkt Wirtschaftsprüfung unter diesen Schwellenwert fielen und damit nicht einmal im Ranking auftauchen würden, da Kolleginnen und Kollegen, die nicht auf diesem Gebiet tätig sind, die Zeitschriften im Zweifelsfall nicht kennen und keinen Anreiz haben, diese zu bewerten.“

• „Ich sehe die Gefahr, dass kleine Communities sich gut organisieren und ‚ihre‘ Zeitschriften gezielt hoch bewerten, um sich so individuelle Vorteile zu sichern. Für den Großteil der VHB-Mitglieder setzt so ein Opportunismus den Wert des gesamten Ratings herab.“

•  „Man darf nicht vergessen: 25 Bewertungen, das ist nur wenig mehr als 1% der VHB-Mitglieder. Man kann den Minderheitenschutz auch übertreiben. Zeitschriften, die nur von 10 der über 2000 VHB-Mitglieder gelesen werden, sind eben für die BWL nicht übermäßig wichtig, so ist das nun mal.“

Die Arbeitsgruppe sieht beide Argumentationsrichtungen. In einer Ergänzung des ursprünglichen Vorschlags werden wir eine Kompromisslösung umsetzen:

• Zeitschriften, die von 25 oder mehr Mitgliedern bewertet wurden, werden in den jeweiligen Teilratings (VHB-JOURQUAL3) regulär ausgewiesen.

• Zeitschriften, die von 10 bis 24 Mitgliedern bewertet wurden, werden bei den jeweiligen Teilratings (VHB Wissenschaftliche Kommissionen) in einer separaten Liste ausgewiesen.

• Jedes der Teilratings wird also um eine Liste von Zeitschriften ergänzt, die nur von einer kleinen Zahl von VHB-Mitgliedern bewertet wurden.

„Framing“: Sollen bei der Erhebung der Daten (d.h. bei der Bewertung der einzelnen Journals) Informationen über das Abschneiden in anderen Rankings gegeben werden?

• „Das ist manipulativ und verzerrend. In der Markt- und Meinungforschung versucht man normalerweise, solche „Framings“ zu vermeiden, um gänzlich unbeeinflusste Aussagen (z.B. zur Markenbekanntheit) zu erhalten. Auch Forschung zum Thema Framing (angefangen bei Kahneman/Tversky in Science 1981) kann nicht einfach „wegdiskutiert“ werden.“

• „So eine Hintergrundinformation ist dringend nötig. Ein Richter erhält ja auch Vorstrafenregister und weitere Informationen über den Angeklagten, bevor er eine Strafe verhängt. Ein Arzt bekommt die Krankengeschichte des Patienten, inklusive der Diagnosen durch Kollegen. Ein Personalist, der ein Jobinterview führt, hat sich selbstverständlich vorher den schriftlichen CV angesehen. Alle VHB-Mitglieder, die Zeitschriften beurteilen, müssen wissen, wie sie anderswo auf der Welt eingeschätzt werden. Irrtümer und Verwechslungen sind sonst leicht möglich. Wir dürfen nicht riskieren, dass sich das neue JOURQUAL von der internationalen Sicht der Dinge abkoppelt – man würde sich an den Jobchancen des Nachwuchses versündigen.“

• „Informieren kann man sich über die Bewertung der Zeitschriften ja ohnehin z.B. über Harzing.com. Man hat ja außerdem viel im Kopf.  Vielleicht sollte man einen Button einrichten, der einem die anderen Rankings auf Wunsch einblendet? Das wäre eine Erleichterung!

Das Thema wurde intensiv diskutiert. Wir werden hier ebenfalls eine Kompromisslösung umsetzen, bei der den Befragten die Möglichkeit gegeben wird, sich mit Hilfe eines Buttons einfach und unkompliziert darüber zu informieren, wie die betreffende Zeitschrift in anderen anerkannten und verwendeten Rankings bewertet wurde. Diese Information ist mit dem expliziten Hinweis versehen, dass man im eigenen Urteil nicht gebunden ist. Für diese Sicht gibt es im Wesentlichen zwei Argumente:

1. Die Informationen sind größtenteils ohnehin bekannt bzw. können in der Befragungssituation von jedem Teilnehmer eingeholt werden.
2. International gebräuchliche Rankings sind eine relevante Kontextinformation und man verbessert das Urteil des Einzelnen, wenn man seine Informationsbasis erhöht. Abweichungen von internationalen Einschätzungen sind dann bewusste Entscheidungen und nicht Zufallsfehler, wie sie ungestützt sehr leicht auftreten können.

Verbale Kategorienbezeichnungen. Sollte man die Etiketten „A+“, „A“ verbal beschreiben? Wenn ja: wie?

• „Wir müssen aufpassen, dass wir es mit der Abstuferei nicht übertreiben. Manche Außenstehende denken, dass „C“ eine viertklassige Zeitschrift bezeichnet und Autoren und Zeitschriften selbst fühlen sich herabgewürdigt und diskriminiert.“

• „Muss ich mich eigentlich wegen einer B-Publikation entschuldigen?“

• „B-Zeitschrift, das klingt wie B-Promi, B-Picture oder sonstwas unterklassiges.“

• „Wie kann man erreichen, dass Transfer- und Praxiszeitschriften nicht geratet werden? Es ist besser, man ratet sie nicht als dass man sie schlecht ratet. Eine Pizza ist ja auch kein schlechtes Steak, sondern einfach etwas anderes.“

• „Wir halten es nicht für zielführend, dass eine Zeitschrift, die zwar gelesen wird, die aber das Zielkriterium für die Beurteilung („Wissenschaftlicher Fortschritt“) gar nicht anstrebt, ein „schlechtes“ Ranking erhält und damit eine an sich gute Leistung z.B. im Bereich Praxistransfer aus dem Blickfeld gerät.“

Der Arbeitsgruppe ist die Beseitigung solcher Probleme und Missverständnisse gegenüber Dritten ein großes Anliegen. Wir möchten daher die Kategorien nicht nur mit den bekannten Buchstaben-Kürzeln ausweisen, sondern zusätzlich verbale Umschreibungen verwenden. Konsequenterweise werden diese bereits bei der Erhebung verwendet.

Diese Beschreibungen sollen (1) die Wertigkeit der Zeitschriften der entsprechenden Kategorien in den vergangenen Versionen des VHB-JOURQUAL möglichst gut erfassen, (2) auch im internationalen Kontext verstanden werden können und (3) auch isoliert, d.h. ohne den Kontext der anderen Kategorienbezeichnungen selbsterklärend sein.

Das Ergebnis ist das folgende:

A+  Herausragende, weltweit führende wissenschaftliche BWL-Zeitschrift
(Outstanding academic journal in our field)

A  Führende wissenschaftliche BWL-Zeitschrift (Leading academic
journal in our field)

B  Wichtige und angesehene wissenschaftliche BWL-Zeitschrift
(Important and well-regarded academic journal in our field)

C  Anerkannte wissenschaftliche BWL-Zeitschrift (Recognized academic
journal in our field

D  Wissenschaftliche BWL-Zeitschrift (Academic journal in our field)

*  Keine wissenschaftliche BWL-Zeitschrift (Journal that is targeted at non-academic audiences)

Zeitschriften, die primär Transfercharakter haben und/oder sich an die Praxis als Zielgruppe wenden und in der keine originären wissenschaftlichen Erkenntnisse publiziert werden.

**  Keine BWL-Zeitschrift (journal beyond our field)

Wissenschaftliche Zeitschriften, die praktisch keine betriebswirtschaftlichen Themen publizieren, sondern ihren eindeutigen Schwerpunkt in anderen Disziplinen haben.

Die Kategorien * und ** werden bei der Befragung erhoben, um es den Befragten zu ermöglichen, Zeitschriften aussortieren zu können, die nicht in ein Rating wissenschaftlicher BWL-Zeitschriften gehören. Wenn bei einer Zeitschrift die Mehrheit der abstimmenden VHB-Mitglieder (>50%) der Meinung ist, dass sie zu einer dieser beiden Kategorien gehört, dann wird sie nicht in die neue Auflage des VHB-JOURQUAL aufgenommen. Diese Kategorien werden im VHB-Rating also nicht ausgewiesen und es entsteht kein Reputationsverlust für die entsprechend eingeordneten Zeitschriften.