Entstehungsprozess und Projektverlauf VHB Rating 2024

Im Jahr 2018 hatte die Arbeitsgruppe VHB Rating 4.0, bestehend aus Vertreterinnen und Vertretern von 13 WKs sowie Sprecher Prof. Dr. Hans Ulrich Buhl, die Arbeit an einem Nachfolgeprodukt von JOURQUAL3 aufgenommen. Anfang 2020 legte diese Arbeitsgruppe ihren in zehn diskussionsreichen, zum Teil mehrtägigen Sitzungen entwickelten Konzeptvorschlag vor, dessen Überarbeitungsbedarf in der Mitgliederversammlung des VHB im März 2020 deutlich wurde.

Von 2021 bis 2022 leitete Prof. Dr. Jutta Geldermann als stellvertretende VHB-Vorsitzende mit dem Vorstandsressort Forschung und Publikationen weitere zehn zum Teil mehrtägige Workshops und Online-Meetings mit Vertreterinnen und Vertretern aller WKs.

Darin wurde der Umfang der neuen Befragung herausgearbeitet, nämlich die gesonderte Bewertung von Zeitschriften, Kommentaren und Proceedings, sowie die Bewertungsdimensionen „wissenschaftliche Qualität“, „Transferbeitrag“, „Praxisrelevanz“ oder „Fachbezug“ und ihre jeweiligen Kategorien. 

Im November 2022 traf der Lenkungskreis (bestehend aus Beirat und VHB-Gesamtvorstand) den Grundsatzbeschluss, das VHB-Rating 2024 in der vorliegenden Form – auf Grundlage eines durchgängigen Konzepts eines WK-spezifisch anzupassenden Publikationsmedienratings, basierend auf einer Mitgliederbefragung – durchzuführen.  

Die vorbereitende Organisation, Erstellung der initialen Medienkataloge, Einrichtung der Vorbefragung, Kommunikation mit WK-Vertreterinnen und -Vertretern und die Einrichtung der Hauptbefragung für das VHB-Rating 2024 oblag einer durch den VHB-Beirat im Jahr 2022 neu eingerichteten Arbeitsgruppe. Die sieben Mitglieder dieser Arbeitsgruppe repräsentieren die 18 WKs des VHB. Die Arbeitsgruppe berichtete an einen Lenkungskreis, der sich aus VHB-Gesamtvorstand und VHB-Beirat zusammensetzt. Moderiert wurde die Arbeitsgruppe von Prof. Dr. Christian Koziol, der als Mitglied des Gesamtvorstands das Ressort Forschung und Publikationen seit 2023 leitet. Die Programmierung von Vor- und Hauptbefragung übernahmen die Umfrage-Spezialisten von QUESTIONSTAR der Motaev Marx Motaev GbR. 

Der Einsatz der Arbeitsgruppe VHB-Rating 2024 ist mit der Veröffentlichung des Ratings auf den Internetseiten des VHB beendet.

 

 

Verlaufsübersicht

Die Befragung der stimmberechtigten VHB-Mitglieder des VHB-Ratings 2024 für Publikationsmedien wurde nach Verlängerung des Befragungszeitraumes am 12. Februar 2024 abgeschlossen.
Insgesamt haben 1.175 stimmberechtigten Mitglieder (von 2.129 Einladungen) aus allen 18 Wissenschaftlichen Kommissionen teilgenommen. Bewertet wurden 1.575 Zeitschriften, Kommentare und Proceedings. Es wurden insgesamt mehr als 112.000 Datenpunkte bewertet.
Neben der „wissenschaftlichen Qualität“ (A+, A, …D) wurde von einigen WKs zusätzlich der Transferbeitrag (*** - °) der Themenbezug (a, … f) oder die Praxisrelevanz (1-5) abgefragt.

Die Veröffentlichung der Ergebnisse ist für Anfang April 2024 auf der Webseite des VHB geplant. Des Weiteren ist eine „Auf einen Kaffee mit…“-Veranstaltung zum Thema „VHB Rating 2024“ zum 30. April 2024 in Vorbereitung.

Am 20. Januar 2024 startete die Hauptbefragung für das VHB-Rating 2024 für Publikationsmedien.
Alle stimmberechtigten Mitglieder (ordentliche Mitglieder, Seniormitglieder, Ehrenmitglieder) erhielten eine Einladung mit ihrem persönlichen Link zur Teilnahme. Die Teilnehmer:innen können bis zum 09. Februar 2024 die Publikationsmedien der Kataloge von maximal drei Wissenschaftlichen Kommissionen, in denen sie Mitglied sind, bewerten. Die Arbeitsgruppe für das VHB-Rating 2024 plant, die vorläufigen Ergebnisse der Hauptbefragung Mitte März 2024 zu präsentieren.

Die finalen Publikationsmedienkataloge der einzelnen Wissenschaftlichen Kommissionen des VHB sind erstellt und in das Umfragetool von QUESTIONSTAR eingepflegt worden. Anfang Dezember begann der Testzeitraum für das Umfragetool, welcher sich in zwei Testphasen aufgliedert. Die erste Testphase wurde bereits abgeschlossen. Die zweite Testphase ist für Ende Dezember bis Anfang Januar geplant. In dieser Testphase sind alle ernannten Ansprechpartner:innen für das VHB-Rating 2024 aus den Wissenschaftlichen Kommissionen eingebunden. Nach Abschluss der zweiten Testphase und Evaluation der Testergebnisse soll die Hauptbefragung für das VHB-Rating 2024 geplant Ende Januar stattfinden.

 

Die VHB-Rating-Vorbefragung fand vom 26.09. bis zum 08.10.2023 statt und wurde erfolgreich abgeschlossen. Die stimmberechtigten Mitglieder des VHB haben in diesen knapp zwei Wochen Vorschläge für relevante Publikationsmedien in ihren Wissenschaftlichen Kommissionen (WKs) eingegeben. Die anschließende Prüfung der Vorschläge und Finalisierung der Medienkataloge oblag den WKs.

Am 8.11.2023 fand die planmäßige Sitzung des Beirats statt. Auf dieser wurden Beschlüsse zu folgenden Themen gefasst:

  • Fokussierung auf die für jede WK einschlägig relevanten Zeitschriften
  • Umgang mit Medien, die zur Allgemeinen BWL gerechnet werden können
  • Quorum für den Ergebnisausweis eines Publikationsmediums
  • Ergebnisausweis im Falle einer verbundenen Bewertung
  • Umgang mit sogenannten Predatory Journals

Die WKs, die ihre Publikationsmedien im Verbund bewerten möchten, entscheiden dies kurzfristig. In den kommenden Wochen bis Jahresende 2023 werden die finalen Publikationsmedienkataloge zentral gesammelt und die Daten für die Hauptbefragung aufbereitet. Die Durchführung der Hauptbefragung und Möglichkeit der Bewertung durch stimmberechtigte VHB-Mitglieder ist für Januar 2024 geplant.

Im Juni wurde der Dienstleister QUESTIONSTAR nach Zustimmung des Lenkungskreises und der Freigabe durch den Vorstand beauftragt, das Umfragetool für das VHB-Rating für Publikationsmedien einzurichten.

Im Juli hat sich die Arbeitsgruppe darauf verständigt, den Zeitraum für die Vorbefragung festzulegen. Die Vorbefragung wird planmäßig vom 26.09. bis zum 08.10.2023 stattfinden. In dieser Zeit haben die Mitglieder der Wissenschaftlichen Kommissionen (WK) Zeit, in das Umfragetool von QUESTIONSTAR Vorschläge für die Publikationsmedien einzugeben, die sie als relevant für die Hauptbefragung ansehen. Ein Basiskatalog mit Publikationsmedien, der spezifisch für jede WK schon im Umfragetool enthalten sein wird, kann den Mitgliedern die Eingabe der Mediendaten erleichtern. Die Mitglieder können Vorschläge in den Kategorien „Zeitschriften“, Proceedings“ und „Kommentare“ einreichen. Eine Pflichtteilnahme an der Vorbefragung wird es für keine WK geben.

Die Zeitachse für das Projekt sieht vor, nach der Beiratssitzung im November mit der Hauptbefragung zu starten. Bis dahin müssen die geprüften finalen Kataloge der Publikationsmedien vorliegen und Entscheidungen über verbundene Ratings getroffen sein (Veranschaulichung und Erklärung der Meilensteine, Zeitachse unter Vorbehalt zeitlicher Anpassungen).

Per Beschluss des Beirats wurde die Arbeitsgruppe PMR eingesetzt.

Christian Koziol (Tübingen), Vorstandsressort „Forschung und Publikationen“ steht der Arbeitsgruppe als Moderator und Koordinator zur Seite.

Ein Lenkungskreis wurde eingerichtet, der sich aus Beirat und Gesamtvorstand zusammensetzt und wichtige Entscheidungen in einer 2/3-Mehrheit trifft.

Die Arbeitsgruppe PMR beschließt in ihrem zweiten Arbeitstreffen folgende Meilensteine:

  1. Einbindung und Mitwirkung der WKs durch Touchpoints festgelegt
  2. Finanzplan erstellt
  3. Technische Funktionen spezifiziert/Auswahl Dienstleister
  4. Erhebungsumfang für Teilratings definiert/technische Lösung für Vorbefragung liegt vor
  5. Ergebnisse der Vorbefragung/WK-Anforderungen und technische Lösung für Hauptbefragung liegen vor
  6. Technische Lösung für Ergebnisdarstellung, durch WKs/qualitätsgesicherte Ergebnisse der Hauptbefragung liegen vor

Für den Meilenstein 1 wurden folgende Touchpoints festgelegt:

  • 1 (Grundsätzliches): Festlegung von WK-spezifischer Ansprechperson, Ermittlung der (ggf. verbundenen) Teilratings, Angabe der Publikationsmedienkategorien, Anzahl und Auswahl der Bewertungskriterien
  • 2a (Vorbefragung): Ermittlung der Datengrundlage (Publikationsmedienkataloge/PMR-Listen) als Input für die Vorbefragung
  • 2b (Abschluss Vorbefragung und Vorbereitung Hauptbefragung): Bereitstellung der finalen WK-spezifischen PMR-Listen nach Qualitätssicherung durch jeweilige WK, Ermittlung von Zusatzinformationen
  • 3 (Auswertung Hauptbefragung): Auswertung und Verarbeitung der Ergebnisse der Hauptbefragung zum Ausweis

Das vierte Treffen der AG PMR findet am 28. Juni 2023 statt.

Die Gestaltung der Umsetzung des VHB-Publikationsmedienratings übernimmt eine Arbeitsgruppe PMR (für Publikationsmedienrating), die sich derzeit in Gründung befindet. Am 2. März 2023 wird es eine Kickoff-Veranstaltung dazu geben, ein erstes Arbeitstreffen folgt zeitnah ebenfalls im März.

Im VHB wurde in den vergangenen Jahren intensiv über eine zeitgemäße Aktualisierung des eindimensionalen Journal Rankings JOURQUAL 3 diskutiert. Jede der im VHB organisierten Disziplinen hat zur Erhebung und Bewertung von wissenschaftlicher Qualität ihre eigene, auf der jeweiligen Fachkultur basierende, Herangehensweise. Der Verband hat diese unterschiedlichen Perspektiven in einem schrittweisen, systematisch moderierten Prozess konsolidiert.

  • Im November 2022 haben sich Beirat und Gesamtvorstand des VHB für ein durchgängiges Konzept eines WK-spezifischen Publikationsmedienratings entschieden.
  • Dieses sieht die vom VHB koordinierte Durchführung einer befragungsbasierten Erhebung vor.
  • Die Ergebnisse dieser Erhebung werden WK-spezifisch für die jeweils relevanten Zeitschriften sowie gegebenenfalls in weiteren Listen für weitere Publikationsmedien (Gesetzeskommentare, Konferenzbände) ausgewiesen.
  • Die Ergebnisse dieser Erhebung können optional um die Anzeige von Meta-Ratings ergänzt werden.

Parallel dazu wird sich der VHB weiterhin an der Diskussion um eine angemessene Würdigung der vielfältigen Forschungsleistungen der Betriebswirtschaftslehre, auch über Publikationen hinaus, beteiligen.

Im Jahr 2021 hat die Arbeitsgruppe zum VHB Rating 4.0 ihren Abschlussbericht vorgelegt. Auf Anfrage stellen wir Ihnen diesen zum Nachlesen gerne über die Geschäftsstelle (info@vhbonline.org) zur Verfügung.

Zusammensetzung der Arbeitsgruppe

1. Hans Ulrich Buhl: Sprecher
2. Jutta Geldermann (ab dem 15.10.2020): Nachfolge Hans Ulrich Buhl
3. Edeltraud Günther: WK NAMA
4. Bernd Helmig: WK ÖBWL
5. Martin Klarmann (ab dem 20.12.2018): WK MARK
6. Helge Löbler (bis zum 15.07.2020): WK DLM
7. Andreas Löffler: WK BAFI
8. Wenzel Matiaske: WK PERS / WK ORG
9. Martin Müller (am 01.12.2020): WK NAMA
10. Tina Osteneck: VHB-Geschäftsführung
11. Margit Osterloh: WK ORG
12. Isabella Peters: Expertin für Altmetriken
13. Klaus Ruhnke: WK RECH
14. Detlef Schoder (bis zum 21.05.2019): WK WI
15. Thomas Spengler: WK PROD / WK LOG / WK OR
16. Susanne Strahringer (ab dem 02.10.2019): WK WI
17. Robert Ullmann: WK STEU
18. Nancy Wünderlich: WK DLM

Schriftführer

1. Robert Keller
2. Thomas Kreuzer
3. Tina Osteneck