You are here: VHB news / VHB newsletters / VHB aktuell II/2014 / Pfingsttagung 2014: Nachlese / Podiumsdiskussion: Innovative Ansätze zur Messung des „Impact“ von Forschungsarbeit
Wednesday, October 18, 2017
DEEN
Follow & Join Us
VHB Gruppe

  

Kernaktivitäten

 

80. Pfingsttagung des VHB

23. bis 25. Mai 2018 in Magdeburg

 

 

 

Wissenschaftliche Kommissionen

Innovative Ansätze zur Messung des „Impact“ von Forschungsarbeit

 

 

Moderation:

Prof. Dr. Robert Winter

 

Teilnehmer:

Dr. Martin Fenner, Public Library of Science (PLOS);

Prof. Dr. Christian Hoffmann, mcm Institute, Universität St. Gallen;

Dr. Ijad Madisch, Virologe und Mitgründer von ResearchGate;

Prof. Dr. Isabell M. Welpe, Lehrstuhl für Strategie und Organisation, Technische Universität München

 

Die Kritik an traditionellen Ansätzen zur Messung des „Impacts“ von Forschungsleistungen ist vielfältig. Neben Kritik am Zustandekommen von Qualitätsrankings oder ihrer Wirkung sowie genereller Kritik an der Fokussierung auf den Wissenschaftsbetrieb ohne adäquaten Einbezug der Wirtschaftspraxis wird oft angemahnt, dass sich etablierte Maße des „wissenschaftlichen Impacts“ einseitig auf die Reputation weniger Veröffentlichungsplattformen abstützen, welche wiederum durch eine kleine Selektion aktiver Wissenschaftler/innen maßgeblich beeinflusst werden.

 

Soziale Medien ermöglichen die offene, direkte Interaktion zwischen ihren Nutzern. Im Wissenschaftsbetrieb ermöglichen soziale Medien, Beiträge direkt zu veröffentlichen, zu nutzen und zu bewerten. Im Rahmen dieser Nutzung und durch die Interaktion untereinander entstehen neuartige Daten, die Rückschluss auf den Impact eines Forschungsbeitrages erlauben.

 

Es liegt deshalb nahe, auf direkter offener Vernetzung basierende Impact-Metriken als Alternative zu traditioneller Qualitäts- und Leistungsbewertung zu diskutieren. Der interessierte Teilnehmerkreis diskutierte intensiv die Vor- und Nachteile der verschiedenen Ansätze.

 

Welche Erfahrungen konnten bereits mit welchen alternativen Ansätzen gesammelt werden?

Es wurde das Projekt der Universität St. Gallen „Neue Impact-Masse“ vorgestellt. Dort wurden die Publikationen eines großen Teils der Fakultät auf ResearchGate übertragen und die sich ergebende Netzwerkaktivität untersucht. Das Netzwerk ist das Sozialkapital einer Fakultät. Online-Netzwerke sind hilfreich, weil sich ein großer Datenreichtum entwickelt.  Auch der immense Zuwachs an Mitgliedern auf der Plattform „ResearchGate“ zeigt, dass alternative Ansätze für Forscher durchaus interessant sind.

 

Führen alternative Ansätze zu „besseren“ Bewertungen? Wofür sind sie besser geeignet und warum? Wo liegen die Grenzen? Kommen traditionelle und alternative Impact-Messungen zu unterschiedlichen Ergebnissen? Wie lassen sich allfällige Unterschiede erklären und was haben sie zu bedeuten?

Die Probleme, die die Wissenschaft hat, sind folgende: Forschung ohne Relevanz, Fehler und mangelnde Replizierbarkeit, Langsamkeit, fehlende Transparenz und Zugang zu Daten, die Black Box des Peer Review, nicht-intendierte Wirkungen/Manipulierbarkeit und Eindimensionalität der Messung. Open Science und Open Review bieten hier beispielsweise einen guten Ansatz, da hier der „Black-Box-Prozess“ aufgemacht wird. Feedback und Kritik sind transparent, aber auch die Gutachter sind transparent.

 

Die Universität in St. Gallen hat für ihr Projekt die unterschiedlichen Metriken untersucht. Es sollte untersucht werden, wie diese Metriken (Seniorität, Publikationserfolge, Zentralität, Publikationsresonanz, Altmetrics, Webometrics) zusammenhängen. Dabei kam es zu folgendem Ergebnis: Es gibt wenig Korrelation im Bereich Webometrics. Bei den Altmetrics ist sie relativ hoch. Aber ansonsten bestehen recht viele Zusammenhänge zu den traditionellen Messinstrumenten. Das Sozialkapital ist auch wichtig; auch darüber kann Impact generiert werden. Das wiederum kann mit den neuen Messinstrumenten gemessen werden.

 

Wie groß ist die Akzeptanz sozialer Vernetzung in der Wissenschafts-Community? Wie lassen sich Akzeptanzbarrieren überwinden? Haben alternative Ansätze eine Chance auf breite Nutzung und breite Akzeptanz?

Die neue soziale Vernetzung wird mit Interesse, aber auch mit Skepsis verfolgt. Kritik geht vor allem in Richtung Möglichkeiten der Manipulation bei den sozialen Netzwerken, aber auch dahingehend, dass der Wissenschaftler und nicht sein Wirken sehr im Vordergrund steht.

 

Gibt es Synergien oder Lernpotenziale zwischen traditioneller und alternativer Impact-Bewertung?

Die Social Media Metrics haben den Vorteil  der Schnelligkeit und können auch außerhalb der Community genutzt werden. Zudem werden sie ständig weiterentwickelt. Die Nachteile sind aber beispielsweise, dass sie oftmals nicht standardisiert sind oder manche auch einfach zu beeinflussen sind. Es geht letztendlich darum, neue Wege zu explorieren und bessere Entscheidungsgrundlagen zu schaffen. Neue Formen des Austausches müssen die alten ja nicht ersetzen, sondern man kann auf klassische Systeme alternative Systeme aufsetzen.

 

---

 

Im Anschluss an die Veranstaltung hatte der Moderator Gelegenheit, einige Themen mit Dr. Ijad Madisch, dem Mitgründer von ResearchGate, vertieft zu diskutieren. Das Ergebnis dieses Interviews wird 2015 in der Zeitschrift „Business & Information Systems Engineering“ (Springer) erscheinen.