Der Aufwand für die Befragten ist enorm hoch. Man braucht Stunden, um wirklich alle Zeitschriften gründlich zu bewerten, die man kennt. Kann man das Ganze nicht vereinfachen?

Man sollte beachten, dass nur die Zeitschriften einzuschätzen sind, die auch tatsächlich gelesen werden. Beachtet man diese Einschränkung, ist der Aufwand vielleicht doch nicht ganz so groß.

Zugleich nehmen wir die Minimierung des Aufwands als Auftrag sehr ernst, denn zwischen dem Aufwand für jeden Einzelnen und der Validität des Ergebnisses besteht ein Trade-off. Zunächst wird man die Befragung unterbrechen und zwischenspeichern können. Wir reduzieren zudem den Aufwand u.a. durch eine benutzerfreundliche Voreinstellung bei der Zeitschriftenauswahl. Mit dem Wegfall des Expertenstatus entfällt auch das Protokollieren der eigenen Publikationstätigkeit, die bisher einen großen Teil des Aufwandes der Teilnehmer ausgemacht hat (u.a. durch das Hochladen des Schriftenverzeichnisses).

Die Qualität einer Zeitschrift ist ein vieldimensionales Konstrukt. Man kann neben der Qualität der Artikel und des Prozesses auch den Rigor, die Strenge und einige weitere Dimensionen unterscheiden. Der neue VHB-JOURQUAL sollte all dies berücksichtigen. Denkbar wäre auch eine Bewertung nach Conjoint-Logik (z.B. Choice-based).

Das ist methodisch gesehen zweifellos richtig. Doch würde eine so genaue und differenzierte Bewertung für den einzelnen Befragten wohl zu einem zu großen Aufwand führen. Wir denken, dass mit der summarischen Einschätzung des Ausmaßes, in dem die betreffende Zeitschrift die BWL als wissenschaftliche Disziplin voranbringt, ein guter Kompromiss gefunden wurde.

Mich hat bei der letzten Befragung gestört, dass ich nicht „abbrechen“ bzw. meine bis dahin gemachten Bewertungen nicht löschen konnte.

Dieser Kritikpunkt kam mehrfach. Wir planen bei VHB-JOURQUAL 3 die Möglichkeit ein, dass man die eigenen Bewertungen wieder löschen kann. Wir hoffen allerdings, dass nicht viele Befragte davon Gebrauch machen werden.

Bei Zeitschriften kann es leicht zu Verwechslungen aufgrund ähnlicher Namen kommen. Die Folgen wären unter Umständen dramatisch und blamabel.

Angesichts der riesigen Zahl an Journals ist das ein ernstes Problem. Aus diesem Grund geben wir bei der Bewertung für jede Zeitschrift Vergleichsergebnisse aus anderen Ratings an. Wir hoffen, dass dadurch das Risiko von Verwechslungen sinkt.

Zeitschriftenqualität als Durchschnitt von Artikelqualität und Prozessqualität ergibt keinen Sinn.

Hierzu gibt es unterschiedliche Argumente. Da der Punkt jedoch häufig kam, haben wir uns entschieden, im neuen VHB-JOURQUAL ausschließlich die subjektive Gesamteinschätzung heranzuziehen (s.o.).

Wie wird sichergestellt, dass die aufgenommenen Zeitschriften auch tatsächlich BWL-Zeitschriften sind?

Dies beurteilen am besten die Fach-Communities selbst, nicht die JQ-Leiter oder der JQ-Beirat. Gelegenheit dazu haben Sie bei der Erhebung selbst.