Die einzelnen Kategorien sind sehr groß, allein B und C enthalten fast 75% der Zeitschriften des Ratings. Dadurch entsteht innerhalb der einzelnen Kategorien eine große Spannweite an Qualität (z.B. in B: „fast-A“-Zeitschriften und „fast-C“-Zeitschriften). Durch die Zusammenfassung zu einer einzigen Stufe wird dieser Umstand nicht sichtbar. Sollte man die Kategorien nicht weiter differenzieren (z.B. in B+ und B-)?

Die Beobachtung ist richtig und natürlich gibt es Argumente für eine weitere Differenzierung der Kategorien. Allerdings muss man berücksichtigen, dass die differenziertere Abstufung in VHB-JOURQUAL2 in Gestalt von Mittelwerten von vielen VHB-Mitgliedern bei den verschiedenen Diskussionen auf den VHB-Tagungen und auch in schriftlicher Form stark kritisiert wurde. Bemängelt wurde, dass dadurch eine Genauigkeit vorgetäuscht würde, die ein Zeitschriftenranking aus prinzipiellen Gründen nicht haben kann. Dies, so die Kritiker, würde zu einer Überschätzung der Bedeutung der Rankingpositionen führen.

Die Schattenseite eines gröberen Rankings ist aber logischerweise eine geringere Differenzierung. Wir haben diesen Mehrheitswunsch berücksichtigt und die Einteilung in die fünf verschiedenen Ratingkategorien beschlossen und öffentlich angekündigt. Um diese Änderung auch terminologisch zu reflektieren, wurde die Bezeichnung „Ranking“ in „Rating“ geändert. Diesem Beschluss sind wir nun gefolgt.

Die Zeitschriften sind zudem in den einzelnen Teildisziplinen innerhalb der jeweiligen Rating-Kategorie danach angeordnet, wieviel Prozent der Bewertungen auf die jeweilige Kategorie oder eine höhere Kategorie entfallen. Weiterhin findet sich zu jeder Zeitschrift die Information, wie die Bewertungen über die verschiedenen Kategorien verteilt sind. Diese Informationen können einen zusätzlichen Hinweis darauf geben, wie ein Journal in der Community wahrgenommen wird, etwa ob es eher an der nächsthöheren oder der nächstniedrigeren Kategorie liegt.

Eine formale „feinere“ Einteilung war nicht Gegenstand der Befragung und wir haben sie auch nicht ex post vorgenommen. Alle nachträglichen Einteilungen haben ein Problem: sie sind willkürlich und geschehen nicht mehr vor dem „Schleier des Unwissens“.  Ihre Auswirkungen auf die Einstufung der Zeitschriften sind genau beurteilbar. Natürlich steht es aber den verschiedenen Wissenschaftlichen Kommissionen und jedem einzelnen Wissenschaftler frei, auf Basis der offen einsehbaren Verteilungen zusätzliche Auswertungen bzw. Einteilungen machen.

Zu den als hoch wahrgenommenen Anteilen in manchen Kategorien (v.a. B und C): Man sollte nicht vergessen, dass die in VHB-JOURQUAL3 tatsächlich mit einem Rating bewerteten 651 Zeitschriften nur einen kleinen Teil der Zeitschriften ausmachen, die es im Bereich Betriebswirtschaft insgesamt gibt. Nimmt man die Ausgangsbasis von 934 Zeitschriften, die zu bewerten waren bzw. die insgesamt existierenden mehreren tausend betriebswirtschaftlichen Journals als Basis, dann relativierten sich die scheinbar hohen Anteile deutlich.

Handelt es sich um verschiedene Ratings je nach Teildisziplin? Kann also eine Zeitschrift in den verschiedenen betriebswirtschaftlichen Teildisziplinen unterschiedliche Ratings erhalten?

Kritiker von VHB-JOURQUAL haben immer wieder darauf hingewiesen, dass Vergleiche zwischen den Teildisziplinen einem „Äpfel-und-Birnen“-Ansatz entsprechen. Wir halten diesen Punkt für richtig und wichtig. Daher werden die Ergebnisse nach Teildisziplinen ausgewiesen. Ihre jeweiligen Vertreter haben die entsprechenden Ratings schließlich maßgeblich geprägt.

Es gibt jedoch keine unterschiedlichen Ratings einer Zeitschrift je nach Teildisziplin. Der Grund dafür ist, dass sich die BWL nicht taxonomisch in scharf umrissene Teildisziplinen aufteilt. Es bestehen vielfältige inhaltliche Überlappungen. Viele VHB-Mitglieder ordnen sich entsprechend mehreren Teildisziplinen zu. Die Folge ist, dass keine streng abgegrenzten Communities existieren. Würde man dennoch versuchen, ganz eigenständige Ratings zu machen, so würde dies vielfältige methodische Probleme aufwerfen.

Manche Zeitschriften wurden nur von 25 Personen bewertet – kann eine solche Zeitschrift als „führende wissenschaftliche Zeitschrift“ gelten?

Die Frage, welche Schwelle bei den Bewertungen anzulegen ist, wurde im Vorfeld der Erhebung lange und kontrovers diskutiert. Sowohl für eine höhere Schwelle als für eine niedrigere gibt es gute Argumente. Das Rating wird vermutlich valider, wenn man eine hohe Mindestzahl an Bewertungen festlegt. Erstens wird dadurch der Zufallsfehler kleiner und theoretisch mögliche Absprachen werden erschwert. Zweitens ist eine große Leserzahl auch eine Aussage für sich – die Zeitschrift hat eben eine faktische Bedeutung in der Scientific Community. Auf der anderen Seite ist es eine Tatsache, dass es innerhalb der BWL auch spezialisierte Themengebiete gibt. Gerade bei innovativen und neuen Bereichen kann es sein, dass es noch keine große Zahl an Fachvertretern gibt, die eine Bewertung abgeben können. Dies darf nicht mit einer geringen inhaltlichen Bedeutung gleichgesetzt werden.  

In Abwägung all dieser Argumente haben wir im Vorfeld der Befragung beschlossen, die Schwelle auf 25 festzusetzen. Sie ist damit deutlich höher als bei VHB-JOURQUAL2, wo sie noch bei nur 10 Bewertungen lag. Sie ist jedoch nicht so hoch, wie in verschiedenen Diskussionsbeiträgen gefordert. Wir denken, dass dieser Kompromiss insgesamt vernünftig ist.

Die Bewertung von manchen Zeitschriften kommt mir seltsam vor. Und was ist davon zu halten, wenn in einzelnen Fällen eine A+ Zeitschrift von einem Mitglied eine D-Bewertung erhalten hat?

Man kann nur immer wieder darauf hinweisen, dass VHB-JOURQUAL3 – wie überhaupt jedes Zeitschriftenrating – nur Tendenzaussagen machen kann. Aus prinzipiellen Gründen sollte man die Ratings in ihrer Bedeutung nicht überbewerten. Die Tatsache, dass es bei den Bewertungen offensichtlich auch unterschiedliche Einschätzungen gibt, reflektiert dies. Aus unserer Sicht ist die Übereinstimmung in den Bewertungen insgesamt dennoch ausgesprochen hoch. Einzelne extreme Ausreißer, bei denen es sich um exzentrische Meinungen, Manipulationsversuche oder Scherzantworten handeln kann, fallen nicht ins Gewicht, weil sich das Rating bei JOURQUAL 3 nach dem Median bestimmt, nicht wie bei den Vorläufer-Rankings nach dem arithmetischen Mittel.

In manchen Ratings der Teildisziplinen fehlen Zeitschriften, die als ABWL eingestuft werden.

Die Zuordnung der Zeitschriften basiert auf der des Vorläuferrankings VHB-JOURQUAL2. Im Rahmen einer umfangreichen Vorbefragung wurde den Mitgliedern die Gelegenheit gegeben, zusätzliche Zeitschriften für eine Disziplin zu identifizieren. Von dieser Möglichkeit hat eine sehr große Anzahl an Mitgliedern im vergangenen Jahr Gebrauch gemacht. Zudem wurden alle Kommissionsvorsitzenden im Anschluss an diese Vorbefragung gebeten, mögliche noch fehlende Zeitschriften und Zuordnungen zu nennen; mit Ausnahme einer Kommission haben sich alle Vorsitzenden daran beteiligt.

Nach unserem Verständnis ist „ABWL“ keine eigenständige Teildisziplin der BWL, sondern vereinigt vielmehr mehrere betriebswirtschaftliche Teildisziplinen. In den der ABWL zugeordneten Zeitschriften werden üblicherweise also Beiträge aus verschiedenen Teildisziplinen veröffentlicht. Es kann daher für die einzelnen betriebswirtschaftlichen Teildisziplinen sinnvoll sein, zusätzlich zum Rating der eigenen Teildisziplin auch das ABWL-Rating heranzuziehen. ABWL-Zeitschriften sind in den einzelnen Teildisziplinen nicht erneut aufgeführt.

Es gibt insgesamt mehr Auf- als Abwertungen gegenüber VHB-JOURQUAL2. Hat es Absprachen gegeben?

Uns liegen keinerlei Hinweise auf Absprachen vor. Auch die Ergebnisse wirken nicht so. Es scheint vielmehr, als hätte sich die Vernunft der Teilnehmer durchgesetzt. Ein opportunistisch manipuliertes Rating würde langfristig ja allen schaden. Auch das wissenschaftliche Ethos mag eine Rolle gespielt haben und vielleicht die zahlreichen Maßnahmen bei Erhebung und Analyse, die wir vorgenommen haben.

Die leichte Aufwärtsbewegung, die festzustellen ist, kann mehrere Ursachen haben. Aus inhaltlicher Sicht hat sich in den letzten Jahren die Forschungsorientierung in der Betriebswirtschaft international eindeutig intensiviert. Es gibt sehr viel mehr Wissenschaftler, die aktiv forschen; das Niveau in Bezug auf Theorie und Methoden hat sich erhöht und insgesamt ist der Wettbewerb deutlich gestiegen. Eine Folge ist, dass viele neue Zeitschriften entstanden sind und bestehende sich teilweise weiter professionalisiert haben. Es gibt mehr Einreichungen und die Zeitschriften selektieren strenger. In der Konsequenz erscheint nicht unplausibel, dass sich auch die durchschnittliche Qualität der Artikel in den jeweiligen Zeitschriften erhöht hat (und entsprechend teilweise die Ratingklassifikation).

Es ist zudem aber wichtig, auf methodische Unterschiede zu VHB-JOURQUAL2 aufmerksam zu machen. Die Skala wurde von sechs auf fünf Skalenpunkte verkürzt. Eine Bewertung einer Zeitschrift als „E“ war bei VHB-JOURQUAL3 nicht mehr möglich, was ein etwas anderes Antwortverhalten zur Folge gehabt haben kann. Schließlich der vielleicht wichtigste Punkt: bei VHB-JOURQUAL3 wurde die bisherige Abfrage auf einer numerischen Skala von 1 bis 10 durch eine direkte Abfrage der Ratingkategorien A+ bis D ersetzt; insofern ist ein direkter Vergleich der Ergebnisse eingeschränkt. Umso bemerkenswerter erscheint vor diesem Hintergrund die große Stabilität der Ergebnisse.

Werden die Rohdaten VHB-Mitgliedern zur Verfügung gestellt?

Bereits jetzt liegen die aggregierten Verteilungen für jede Zeitschrift vor. Es ist jedem freigestellt, anhand dieser Informationen ein eigenständiges Rating zu erstellen, das z.B. die Kategorien weiter differenziert oder auch vergröbert.  Wir würden dies begrüßen, denn dies wirkt dem Eindruck entgegen, dass die VHB-JOURQUAL3-Ratings die einzig möglichen sind, die eine absolute Wahrheit abbilden – was natürlich nicht korrekt ist.

Die Mikrodaten werden zunächst von den Herausgebern wissenschaftlich ausgewertet. Im Laufe dieses Prozesses werden dann zusätzliche Informationen veröffentlicht. Eine Offenlegung der Daten auf Ebene der einzelnen Befragten ist Gründen des Datenschutzes nicht möglich (wie bei den vorangehenden Befragungen auch).