Ist es sinnvoll, dass VHB-JOURQUAL als Verbandsrating durchgeführt wird?

Ja. Die Durchführung des Ratings über den VHB macht es diskursiv entwicklungsfähig und gibt den Mitgliedern auf legitimierte Weise die Möglichkeit, Einfluss zu nehmen. Bei keinem anderen Rating, das uns bekannt ist, sind die Prozesse vergleichbar transparent und damit kritikfähig wie beim VHB-JOURQUAL.

Sollte man nicht lieber Impact-Faktoren heranziehen statt Befragungsdaten?

Reputations- und zitationsbasierte Ratings haben jeweils Vor- und Nachteile. Impact-Faktoren werden seit langem z.B. durch ISI Thompson bereitgestellt (allerdings unter Ausschluss der meisten deutschsprachigen Zeitschriften). Man muss das Rad nicht neu erfinden. Dass die Bewertung von Forschung sinnvollerweise nicht nur nach einem einzigen Rating erfolgen sollte, sollte ohnehin klar sein. Jedes Rating nimmt eine spezielle Perspektive ein und nutzt Aggregation zur Vereinfachung. Eine objektive Qualität von Zeitschriften gibt es ohnehin nicht. Auf der VHB-Website werden daher für jede Zeitschrift zukünftig neben den VHB-JOURQUAL-Informationen auch Ergebnisse anderer etablierter Ratings veröffentlicht werden.

Wäre es nicht besser, statt eines aufwändigen eigenen Ratings ein „Metarating“ aller valider bestehender Ratings zu erstellen?

Die Erstellung eines Metaratings, das auch die Zeitschriften aus Deutschland, Österreich und der Schweiz erfasst, ist nicht durchführbar, da die dazu erforderlichen Informationen fehlen. Dies gilt auch für viele Zeitschriften aus anderen (europäischen) Staaten. Was es aber geben wird, sind die Ergebnisse anderer Ratings als Vergleichsinformation für die Zeitschriften, für die solche vorliegen. Jeder Leser des Ratings kann sich dann umfassend eine eigene Meinung zur jeweiligen Zeitschrift bilden.

Beim VHB-JOURQUAL werden Äpfel und Birnen verglichen. Die betriebswirtschaftlichen Teildisziplinen und ihre Zeitschriften sind zu unterschiedlich, um sie sinnvoll miteinander vergleichen zu können. Die unterschiedlichen Verteilungen von Spitzenzeitschriften auf die Subfächer kann zu irrationalen Ressourcenverteilungen, Zielvereinbarungen etc. führen, wenn beispielsweise Controlling-Lehrstühle mit Finance-Leuten besetzt werden, nur weil für letztere mehr A+-Zeitschriften existieren.

Das ist ein sehr wichtiger Punkt. Ziel von VHB-JOURQUAL ist natürlich nicht, in den Wettbewerb betriebswirtschaftlicher Teildisziplinen einzugreifen. Es soll ein Hilfsmittel sein, das neben der Orientierungsfunktion speziell für den Nachwuchs in bestimmten Situationen unterstützend bei Entscheidungen hinzugezogen werden kann, z.B. bei der Frage, wer der beste Bewerber für eine bestimmte (teildisziplinär definierte) Stelle ist. In der Konsequenz soll das Rating des VHB-JOURQUAL 3 in Zukunft auch ausschließlich nach den Teilratings der Teildisziplinen ausgewiesen werden. Den Ausweis eines Gesamtratings wird es nicht mehr geben.

Der geringe Mindestwert an Bewertungen führt dazu, dass das Rating von Nischenzeitschriften dominiert wird. Man sollte nur Zeitschriften aufnehmen, die von mindestens 50 VHB-Mitgliedern bewertet wurden.

Und in umgekehrter Richtung: Jegliche Mindestwerte diskriminieren kleine Communities. Bei ihren Zeitschriften ist eine Bewertung durch 10 Personen (wie bei VHB-JOURQUAL 2.1) oft kaum möglich.

Beide Positionen haben ihre Berechtigung. Nach langen Diskussionen und aufwändigen Simulationen der Auswirkungen auf Basis der Daten von VHB-JOURQUAL 2.1 haben wir uns zu einer moderaten Heraufsetzung der Mindestzahl an Bewertungen für eine Aufnahme entschieden (nun: 25). In den begleitenden Informationen („Beipackzettel“) wird ausdrücklich darauf hingewiesen werden, dass ein Fehlen einer Zeitschrift im VHB-JOURQUAL nicht als Negativbewertung zu verstehen ist.

Ist es nicht unangemessen, von einer „Qualität“ der Zeitschriften zu sprechen? Das suggeriert etwas sehr Objektives.

Das stimmt. VHB-JOURQUAL misst keine objektive Qualität, sondern aggregiert subjektive Einschätzungen der VHB-Mitglieder zur Qualität der Zeitschriften im oben genannten Sinne. Es ist klar, dass der Rückschluss von der Zeitschrift auf die Qualität eines einzelnen Artikels prinzipiell unsicher ist. Generell erscheint es uns sinnvoll, noch deutlicher zu machen, was VHB-JOURQUAL misst und damit was es leisten kann und was nicht. Hierzu ist der „Beipackzettel“ ein wichtiges Instrument.

Wie wird mit der Gefahr des Opportunismus umgegangen? Die faktische Bedeutung des Ratings für Leistungsbeurteilungen dürfte mittlerweile allgemein feststehen. Hat das Wissen um die Bedeutung nicht eine Wirkung auf die Ehrlichkeit bei der Befragung? Werden strategisches Verhalten, Absprachen, „Hochvoten“ und „Abstrafen“ das Ergebnis verzerren?

Dies ist eine entscheidend wichtige Frage. Eine Reihe von Vorkehrungen soll das Risiko reduzieren. Zu nennen sind Maßnahmen wie eine Mindestzahl von 25 Bewertungen, die Verwendung des Median (statt des arithmetischen Mittels), der Ausweis von Teilratings nach Kommissionen und die Ergänzung der VHB-Bewertung um Ergebnisse anderer Ratings. Zusätzlich wird allen Teilnehmern deutlich gemacht werden, dass es – wie schon bei VHB-JOURQUAL 2.1 – einen personalisierten (nicht anonymen) Zugang zum Fragebogen geben wird, der es den JOURQUAL-Leitern ermöglicht, jeden Fragebogen den Befragten persönlich zuzuordnen. Dies ist zur Konsistenzprüfung notwendig. Eine Weitergabe der persönlichen Informationen an dritte Personen ist natürlich ausgeschlossen.

Die Messung des „Expertenstatus“ des jeweiligen Teilnehmers durch Publikationen in ranghohen Zeitschriften ist methodisch fragwürdig, da ein Zirkelschluss vorliegt.

Man sollte den Expertenstatus dadurch ermitteln, dass jeder Befragte seine Endnotes-Dateien hochlädt. Daraufhin könnte eine automatische Software analysieren, welche Journals man zitiert. Nur zu den Top20 wird man dann befragt. Dies sind schließlich die Journals, die man auch tatsächlich gut kennt.

Man sollte ausschließlich Experten abstimmen lassen. Beim VHB-JOURQUAL geht es schließlich nicht um eine politische Willensbildung, sondern um den Versuch, die Qualität von Zeitschriften zu erfassen. Wer nie etwas publiziert hat und keine Zeitschriften genau liest, dessen Einschätzung ist nichts wert.

Es ist undemokratisch, wenn die Bewertungen einzelner VHB-Mitglieder höher gewichtet werden.

Im VHB-JOURQUAL 2 hat sich gezeigt, dass die Emotionen, die dieser Faktor ausgelöst hat, in keinem Verhältnis zu seinem Einfluss auf die Ergebnisse stehen. Wir werden den Faktor daher nicht mehr berücksichtigen.

Was ist mit Publikationen in Transferzeitschriften wie HBR oder Sloan Management Review? Natürlich ist ihr wissenschaftlicher Rigor geringer. Dennoch erscheint ihre Abwertung im VHB-JOURQUAL unsinnig – Publikationen in diesen Zeitschriften sind enorm einflussreich.

Das stimmt, aber man sollte immer wieder bedenken, wonach das VHB-Rating fragt, nämlich nach der Einschätzung der wissenschaftlichen Qualität einer Zeitschrift im Sinne des Ausmaßes, in dem die betreffende Zeitschrift die BWL als wissenschaftliche Disziplin voranbringt (s.o.). Es ist generell wichtig, die Grenzen von Zeitschriftenratings immer wieder zu betonen. Sie erlauben keine Bewertung aller Publikationstätigkeiten von Wissenschaftlern (es fehlen Bücher, Transferzeitschriften etc.) und erst recht nicht reflektieren sie den vollen Umfang der Aufgaben eines/einer Hochschullehrers/in.

Es ist problematisch, wenn im Verbandsrating die Verbandszeitschrift BuR auftaucht. Sollte man sie eliminieren?

Nachdem der Verband und seine Organe auf die Antworten der Mitglieder keinen Einfluss nehmen, sehen wir hier kein Problem. Generell gilt, dass man eine Zeitschrift nun mal dann besonders gut bewerten kann, wenn man sie als Autor, als Mitglied des Editorial Boards oder als Reviewer besonders gut kennt. Gleichzeitig können solche Rollen zu Eigeninteressen führen. Ein Spannungsverhältnis zwischen der „eigentlichen“ Einschätzung und Eigeninteressen zu leugnen, wäre töricht. Dies gilt für die BuR und für alle anderen Zeitschriften gleichermaßen.