Mit gutem Beispiel voran?
Fallstudie eines interdisziplinäres Open-Peer-Reviews
1. Einleitung
Open Science ist nicht mehr aus der Wissenschaft und aus wissenschaftlichen Bibliotheken wegzudenken. Die vielen Bausteine und Spielarten, die zu Open Science beitragen, von Open Access über Open Research Data bis hin zu Open Source Code, greifen dabei ineinander und machen Wissenschaft von der Planung bis zur Rezeption transparent und nachvollziehbar.1 Wissenschaftliche Bibliotheken nehmen in vielen Fällen eine aktive Rolle ein, unterstützen Forschende und ihre Einrichtungen, geben Empfehlungen und gestalten Open Science selbst praktisch und strategisch mit.
Open-Peer-Review-Verfahren sind dabei konsequenterweise ebenfalls Thema, werden diskutiert und im Sinne von Open Science als Alternative dargestellt oder gar empfohlen. Hierbei erfolgt der Bezug auf das Ideal von Open Science wie auch auf Studien zu Ergebnissen und zur Wirksamkeit von offenen gegenüber geschlossenen Begutachtungsverfahren, auch wenn es an solchen Studien noch mangelt.2 Weniger Fokus liegt meist auf der Perspektive der Autor*innen und deren Erleben eines Open-Peer-Review-Verfahrens, weder in Studien noch in Empfehlungen. Hier setzt der vorliegende Beitrag an und ermöglicht eine Innensicht auf ein Open-Peer-Review-Verfahren aus Sicht der Autor*innen, die versuchen mit gutem Beispiel voranzugehen. Diese Sicht kann in Gesprächen mit Forschenden dazu beitragen, deren Bedenken wahrzunehmen und zu adressieren.3
2. Der Referenzrahmen
Auch externe Wissenschaftskommunikation, konkret in den Formen Science-to-Public und Public-to-Science, in denen Wissenschaft und Gesellschaft in den Austausch eintreten, ist weder aus der Dissemination von Wissenschaft, aus dem Vermitteln und Erlernen von Scientific Literacy, aus Partizipationsprozessen, noch aus öffentlichen und auch immer weniger aus wissenschaftlichen Bibliotheken wegzudenken.4 Gegenstand dieses Erfahrungsberichts ist daher das Open-Peer-Review-Verfahren des Referenzrahmens für eigenständige digitale Wissenschaftskommunikation durch Forschende.5 Obgleich der Referenzrahmen selbst für diesen Bericht lediglich „Mittel zum Zweck“ ist und nicht der eigentliche Untersuchungsgegenstand, wird er im Folgenden in seinen wesentlichen Punkten kurz ausgeführt, um dessen potenzielle Begutachtende und Zielgruppe besser einschätzen zu können.
Im Referenzrahmen wurde erstmals versucht, die Kompetenzen zu erfassen und zu strukturieren, die für Forschende relevant sind, um eigenständige digitale Wissenschaftskomunikation mit der Gesellschaft nicht nur anzustoßen, sondern auch aktiv in einen Austausch einzutreten und ihn zu begleiten. Dies geschah zum einen durch Sichtung vorhandener Literatur verschiedener Disziplinen, zum anderen aus den eigenen Erfahrungen der Autorinnen sowohl in aktiver Wissenschaftskommunikation als auch bei der Vermittlung entsprechender Kompetenzen.
Die so zusammengetragenen Kompetenzen gliedern sich in 10 Teilkompetenzen, von denen 3 Teilkompetenzen anderen zugeordnet sind:
- Impulse geben
- Plattform nutzen
- Einheit produzieren
- Community managen
- Kanal konzipieren
- Rolle leben
- Zielgruppe erreichen
- Ton treffen
- Wissenschaft öffnen
- Mit emotionalen Herausforderungen umgehen
Bereits hier wird deutlich, dass eine Strukturierung und Abgrenzung der Kompetenzen nicht einfach, dafür aber stets diskutierbar ist. Je nach Perspektive, Kontext und Herangehensweise kann eine andere Strukturierung passender sein. Ähnliches gilt für die Aufteilung in Niveaustufen dieser Teilkompetenzen (A1–C2). Auch hier gibt es andere Möglichkeiten, die Ausprägung der Kompetenzen darzustellen. Da das Unterfangen, einen solchen Referenzrahmen zu erstellen, das erste seiner Art ist, nur einen ersten Aufschlag, nur eine Möglichkeit der Strukturierung sowie nur eine Art der Erfassung der Ausprägungen darstellt und das Forschungsfeld gerade sehr aktiv ist, sollte und soll der Referenzrahmen keine unveränderliche Publikation sein. Um dem Rechnung zu tragen und Raum zu geben, fiel die Wahl auf das Publikationsformat Working Paper, welches zum einen die Vorläufigkeit signalisiert und zum anderen die Versionierung neuer Bearbeitungsstände zulässt.
Darüber hinaus stellte sich die Frage der Qualitätssicherung und Begutachtung sowie des Einholens von Feedback aus der Peer Community. Da der Referenzrahmen Forschende aller Disziplinen adressiert und die Kompetenzen viele Forschungsbereiche kreuzen, ist die Frage, wer die Peers eigentlich sind, nicht trivial zu beantworten. Während die bibliothekswissenschaftliche Community einen disziplinübergreifenden Blick hat, sollten auch Forschende aller Disziplinen und mit unterschiedlichen Erfahrungen in der Wissenschaftskommunikation die Chance für Kommentare und Feedback haben. Ein klassisches geschlossenes Peer-Review mit ein bis drei Begutachtenden und ohne Möglichkeit zur Interaktion kam daher nicht infrage.
Zudem wird Open Science nicht nur im Referenzrahmen als Kompetenz geführt, sondern sollte auch von den Mitgliedern der bibliothekswissenschaftlichen Community gelebt werden, so auch von den Autorinnen des Referenzrahmens. Dementsprechend fiel die Wahl auf ein offenes Begutachtungsverfahren, das die Beteiligung und Interaktion vieler und unterschiedlicher Peers ermöglichte. Der passende Publikationsort für die offene Begutachtung eines Working Papers, der zugleich einen breiteren Bereich von Disziplinen abdeckt, fand sich in der Zeitschrift für digitale Geisteswissenschaften (ZfdG).6
3. Offene Begutachtungsverfahren
3.1 Von Closed- zu Open-Peer-Review
Das Peer-Review wissenschaftlicher Veröffentlichungen ist noch immer ein wichtiger Standard der Qualitätssicherung. Es beruht auf der Begutachtung des eingereichten Manuskripts durch Forschende mit den passenden Fach- oder Methodenkompetenzen. Die Qualität des Reviews basiert dabei auf der Arbeit der begutachtenden Peers.7 An den klassischen Peer-Review-Verfahren gibt es viele Kritikpunkte, vor allem die starke Intransparenz, zeitlicher und personeller Aufwand sowie die fehlende Reproduzierbarkeit.8 Einige gehen sogar so weit, das klassische Peer-Review-Verfahren abschaffen zu wollen.9 Andere Ansätze wollen das klassische Peer-Review-Verfahren um Reproduktionsversuche ergänzen10 oder setzen auf die Öffnung des Peer-Reviews mit Hilfe von Open-Science-Praktiken hin zum Open-Peer-Review.
Open-Peer-Review beschreibt dabei keine fest vorgeschriebenen Schritte oder Komponenten, die offengelegt werden müssen, sondern ist als Oberbegriff zu verstehen, der verschiedene Praktiken umfassen kann. Neben der Offenlegung der Identität der Begutachtenden (Open Identities) vor, während oder nach dem Peer-Review kann dies unter anderem die Veröffentlichung der Peer-Review-Berichte (Open Reports), die Veröffentlichung des noch nicht begutachteten Manuskripts (Open Preprint), die Möglichkeit für alle, die möchten, das Manuskript selbst zu begutachten und zu kommentieren (Open Participation) oder die Interaktion zwischen den Begutachtenden (Open Interaction) umfassen.11 Während die Praktik der offenen Beteiligung den Pool der potenziellen Begutachtenden nicht nur erhöht, sondern auch fachlich diversifiziert und somit Interdisziplinarität breiter zulässt, stärkt die Praktik der offenen Interaktion den Austausch innerhalb der Community und auch darüber hinaus. Eine Herabsetzung der Hürde für potenzielle Begutachtende kann beispielsweise dadurch erreicht werden, dass keine vollständigen Berichte verfasst werden müssen, sondern auch Offenheit für kurze, gezielte und punktuelle Kommentare gegeben wird. Allerdings gibt es auch Studien, die nahelegen, dass offene Peer-Review-Verfahren die Qualität der Reviews nicht erhöhen und im Gegenteil implizieren, dass eine geringere Bereitschaft potenzieller Gutachtender denkbar ist.12 Schmidt u.a. (2018) verweisen hingegen darauf, dass offene Begutachtungsverfahren zu qualitativ besseren Publikationen führen.13
Ross-Hellauer u.a. (2017) fanden bei der Befragung von Forschenden nach deren Einstellungen zu verschiedenen Open-Peer-Praktiken heraus, dass nach deren Ansicht die meisten Praktiken zu besseren Peer-Reviews führen. Die Ausnahme bilden hier Open Identities, weil sie zu weniger oder abgeschwächter Kritik führen könnten. Die Auffassung war, dass Begutachtende beim Review selbst entscheiden können sollten, ob ihre Namen veröffentlicht werden oder nicht.14 Bezüglich Open Reports waren die Befragten größtenteils der Meinung, dass die Veröffentlichung von Berichten nützliche Informationen für Lesende bereit halte und die Qualität der Reviews erhöhe. Aber auch hier wird angeführt, dass diese Praktik zu weniger kritischen Reviews führen könnte.15 Aus der Umfrage lässt sich zudem festhalten, dass zum einen Forschende aus den Geistes- und Sozialwissenschaften deutlich kritischer gegenüber Open-Peer-Review waren als Forschende aus den Naturwissenschaften. Zum anderen standen jüngere Forschende Open-Peer-Review-Verfahren deutlich offener gegenüber.16
Ross-Hellauer u.a. (2017) verweisen zudem darauf, dass die Entwicklung positiv sei und offene Verfahren zum Mainstream zu werden scheinen.17 Bei der Entscheidung für oder gegen ein Open-Peer-Review-Verfahren muss also vieles abgewogen werden. Welche konkreten Praktiken dann in einem Open-Peer-Review-Verfahren zum Einsatz kommen, ist von Publikationsort zu Publikationsort, aber manchmal auch innerhalb des Publikationsortes, verschieden.
3.2 Das Open-Public-Peer-Review der ZfdG
Bei der ZfdG können Autor*innen aus drei unterschiedlichen Peer-Review-Verfahren auswählen: Closed-Peer-Review, Open-Peer-Review oder Open-Public-Peer-Review. Beim Closed-Peer-Review findet die Begutachtung vor der Veröffentlichung statt, wobei der Single-Blind-Modus angewendet wird, d.h. „der*die Autor*in ist den Gutachter*innen bekannt, die Gutachter*innen bleiben gegenüber den Autor*innen aber anonym.“18 Beim Open-Peer-Review wird das Preprint der Publikation veröffentlicht (Open Preprint), daraufhin verfassen eingeladene Peers Gutachten, auf deren Grundlage die finale Fassung des Beitrags erarbeitet wird. Auch hier kommt der Single-Blind-Modus zum Einsatz. Das Preprint bleibt neben der überarbeiteten Version online verfügbar und via DOI referenzierbar. Eine Ampelgrafik zeigt die Bewertungen der Begutachtenden an. Sollte ein Beitrag negativ bewertet werden, bleibt das Preprint online, die Ampelgrafik verbleibt jedoch auf rot.
Das Open-Public-Peer-Review funktioniert im ersten Schritt wie das Open-Peer-Review, allerdings wird der entsprechende Beitrag neben den zwei angefragten Begutachtenden auch für die Öffentlichkeit zur Begutachtung geöffnet (Open Participation). Für die Begutachtung wird das Online-Annotations-Tool Hypothesis19 verwendet. Dieses ermöglicht es Begutachtenden, kleinteilige Kommentare direkt an Textstellen zu heften. Gleichzeitig werden die Kommentare in Echtzeit sichtbar (Open Reports), alle Beteiligten können aufeinander antworten und so in Austausch kommen (Open Interaction).20 Damit werden die Prinzipien Open Preprint und Open Reports, aber auch Open Participation und Open Interaction angewendet. Da der Name bei Hypothesis frei wählbar ist, können sich Begutachtende frei entscheiden, ob sie ihren Klarnamen nutzen (Open Identities) oder anonym bleiben wollen. Damit entspricht das Open-Public-Peer-Review-Verfahren der ZfdG den „Empfehlungen“ von Ross-Hellauer u.a. (2017).
Die Auswertung der ZfdG über die gewählten Review-Verfahren der von ihnen publizierten Beiträge im Zeitraum 2015 bis 2023 zeigt, dass ein Großteil der Autor*innen sich für das Open-Peer-Review entscheiden (64%), ein deutlich kleinerer Teil für ein Open-Public-Peer-Review (23%) und ein noch kleinerer Teil für ein Closed-Peer-Review (13%).21 Zu beachten ist jedoch, dass die Rubrik Working Paper immer im Open-Public-Peer-Review durchgeführt wird. Bei den Jahresheften der ZfdG sowie bei den Sonderbänden nimmt die Präferenz des Open-Public-Peer-Review-Verfahrens immer mehr zu.
4. Open-Public-Peer-Review des Referenzrahmens
Der Referenzrahmen wurde vom 15. Juni bis 18. August 2023 im Open-Public-Peer-Review-Verfahren der ZfdG begutachtet. Zur Auswertung der Kommentare, die im Zeitraum der Begutachtung abgegeben wurden, erfolgte zunächst ein Export aus Hypothesis. Daraufhin wurden induktiv durch die Autorinnen Kategorien entwickelt, mit denen die vergebenen Kommentare annotiert wurden. Anzumerken ist hierbei, dass jedem Kommentar jeweils nur eine Kategorie zugeordnet wurde (Tab. 1). Bereits entwickelte Kategoriensysteme, wie bspw. das von Bornmann u.a. (2008, 2012) induktiv entwickelte, erwiesen sich als zu grob für den vorliegenden Datensatz, da dieser einen starken Überhang an Kommentaren zu Formalia, wie Orthographie und Formulierungen, hat und an dieser Stelle feinere Kategorien benötigt werden, um diese Unterschiede sichtbar zu machen.22
Kategorie |
Erläuterung |
Allgemein |
Allgemeiner Kommentar |
Antwort |
Antwort der Autorinnen, warum ein Hinweis nicht umgesetzt wurde oder auf eine Frage in einem Kommentar, die nicht in der Überarbeitung aufgegriffen wird |
Beitrag |
Beitrag zur Diskussion in den Kommentaren ohne Vorschlag zur Überarbeitung des Referenzrahmens |
Bestärkung |
Positives Feedback auf Inhalt oder Kommentar |
Ergänzung formal |
Hinweis auf eine formale Ergänzung |
Ergänzung inhaltlich |
Hinweis auf eine inhaltliche Ergänzung |
Formulierung |
Hinweise ein Wort zu ändern oder eine Stelle anders zu formulieren |
Hinweis Material |
Hinweis zu sonstigem Material, was in den Kontext passt und ggf. Mehrwert bietet |
Markup |
Hinweis auf eine andere Formatierung |
Orthographie |
Rechtschreibfehler, Kommafehler etc. |
Verständnisfrage |
Rückfrage zum Inhalt |
Insgesamt gab es 121 Kommentare von 6 Begutachtenden und den Autorinnen des Referenzrahmens selbst, wobei letztere nur 3 Antworten auf Kommentare nach dem Ende des Begutachtungszeitraums verfassten und nicht in die Interaktionen eingriffen. Zwei Begutachtende wurden explizit für ein Gutachten angefragt, 4 beteiligten sich aufgrund anderer Motivationsgründe. Die Kommentare verteilen sich unterschiedlich auf die elf induktiv herausgearbeiteten Kategorien (Tab. 2).
Typ |
gesamt |
angenommen |
nicht angenommen |
ohne Vorschlag |
Allgemein |
2 |
1 |
0 |
1 |
Antwort |
3 |
0 |
0 |
3 |
Beitrag |
3 |
0 |
0 |
3 |
Bestärkung |
5 |
1 |
1 |
3 |
Ergänzung formal |
6 |
0 |
6 |
0 |
Ergänzung inhaltlich |
10 |
4 |
6 |
0 |
Formulierung |
62 |
52 |
10 |
0 |
Hinweis Material |
2 |
0 |
2 |
0 |
Markup |
2 |
2 |
0 |
0 |
Orthographie |
23 |
21 |
2 |
0 |
Verständnisfrage |
3 |
0 |
2 |
1 |
Gesamt |
121 (100%) |
81 (66,9%) |
29 (24,0%) |
11 (9,1%) |
Insgesamt 85 Kommentare waren Formulierungs- oder Orthographievorschläge. Der Großteil dieser Kommentare wurden von einer Person verfasst, die zum Teil eine Art zweites Lektorat durchgeführt, allerdings auch Kommentare anderer Kategorien verfasst hat. 52 der Formulierungs- sowie 21 der Orthographievorschläge wurden angenommen und in der zweiten Version des Working Papers eingearbeitet.
Insgesamt 5 Kommentare enthielten vor allem eine Bestärkung von Aussagen im Referenzrahmen. Davon formulierten 2 einen Vorschlag zur Änderung, von denen 1 angenommen wurde. 6 Kommentare waren ausschließlich Teil eines Beitrags oder einer Antwort auf einen anderen Kommentar. Die 3 Antworten wurden, wie bereits angesprochen, von den Autorinnen des Referenzrahmens selbst verfasst.
Teile der Diskussion, die klare Ergänzungen beinhalten, wurden der Kategorie inhaltliche Ergänzung zugeschlagen. Insgesamt 10 Kommentare haben eine solche vorgeschlagen, wovon 4 angenommen und umgesetzt wurden. So wurde beispielsweise die Benennung einer Teilkompetenz diskutiert und dabei sowohl die Umbenennung der Teilkompetenz als auch die Einführung einer weiteren Teilkompetenz vorgeschlagen. In der Überarbeitung des Working Papers haben sich die Autorinnen für die Ausweitung und damit für die Umbenennung der Teilkompetenz entschieden. So wurde die Teilkompetenz Selbstschutz betreiben zur weiter gelagerten Teilkompetenz Mit emotionalen Herausforderungen umgehen. Diese bezieht sowohl positive als auch negative Auswirkungen der Kommunikation ein statt wie zuvor nur negative. Neben der Umbenennung der Teilkompetenz gehörte zu den inhaltlichen Ergänzungen aber auch die Einführung eines Glossars für spezifische Begriffe oder Dienste, die im Working Paper Erwähnung finden. Die Umsetzung des Glossars erfolgte, ähnlich wie die Fußnoten, durch eine farbige Markierung und ein Mouseover (Hover-Effekt) mit der jeweiligen Erklärung. Des Weiteren werden am Ende des Papers nach dem Fußnotenapparat alle Begriffe des Glossars alphabetisch gelistet.
6 Kommentare brachten eine formale Ergänzung ein. Dabei handelte es sich ausschließlich um URLs, die dem Text hinzugefügt werden sollten. Da diese stattdessen ins Glossar einflossen, wurde keiner dieser Vorschläge direkt umgesetzt. In der Kategorie Hinweis Material ergaben sich 2 Kommentare, in denen Ergänzungen aus dem Wikiversum vorgeschlagen wurden. Beide Vorschläge wurden in den Beispielen der einzelnen Kompetenzen im Referenzrahmen eingefügt. Die 2 Kommentare der Kategorie Markup enthielten Vorschläge für die Kursivierung von Text und wurden beide übernommen. In der Allgemein-Kategorie gab es ebenfalls 2 Kommentare, hier wurde u.a. ein Vorschlag für ein weiteres Verfahren zur Erprobung des Referenzrahmens unterbreitet. Schlussendlich gab es noch 3 Verständnisfragen, 2 enthielten Vorschläge für eine Änderung. Keiner der Vorschläge wurde angenommen, jedoch wurde in Hypothesis auf die entsprechenden Kommentare reagiert und die Fragen beantwortet, die in der oben bereits erwähnten Kategorie Antwort aufgehen.
Neben den elf bisher vorgestellten Kategorien wurde zudem annotiert, ob ein Kommentar Teil einer Diskussion ist, diese eröffnet – erkennbar durch auf den initialen Kommentar folgende Antworten – oder eine Antwort in einer Diskussion ist. Insgesamt 8 Kommentare dienten der Diskussionseröffnung, 11 Kommentare waren Teil einer Diskussion.
Zusammenfassend kann gesagt werden, dass insgesamt 121 Kommentare abgegeben wurden, davon kamen 78% von einer Person und 91% enthielten einen Vorschlag zu Änderung. 67% aller Kommentare wurden in der zweiten Version umgesetzt bzw. 74% der Kommentare mit Vorschlägen.
5. Fazit
Der Ablauf des Open-Public-Peer-Reviews sowie die Beteiligungen und Kommentare der Begutachtenden stellten die Autorinnen vor neue Herausforderungen und zeichnen ein gemischtes Bild der eingangs genannten Vorteile, aber auch der vorhandenen Herausforderungen solcher offenen Begutachtungsverfahren.
Im Gegensatz zum klassischen Verfahren, in dem nach Beendigung der Begutachtung alle Begutachtenden einen in sich geschlossenen Bericht abgeben, konnten die Autorinnen die Begutachtenden in Echtzeit beim Kommentieren beobachten und bei Bedarf in Echtzeit antworten. Es erforderte hier eine gewisse Disziplin, nicht täglich die Kommentare einzusehen und nicht bereits an Antworten und Änderungen zu arbeiten. Diese Disziplin ist nicht erforderlich, erwies sich für die Autorinnen jedoch als sinnvoll, um nicht zu sehr in den Begutachtungsprozess einzugreifen und auch selbst Abstand zum Referenzrahmen zu gewinnen. Dieser Dynamik sollte man sich bewusst sein, wenn man ein solches Begutachtungsverfahren wählt. Mit Blick darauf ist anzuerkennen, dass ein Open-Public-Peer-Review nicht für alle Persönlichkeitstypen geeignet ist. Es erfordert ein gewisses Maß an Resilienz und emotionaler Distanz, um mit öffentlichem Feedback, noch dazu in Echtzeit, umzugehen. Gleichzeitig erwies es sich als besonders hilfreich, nach Ende des Open-Public-Peer-Reviews auf einzelne Kommentare direkt und öffentlich antworten zu können, um Kontext zu geben und eine abgelehnte Umsetzung eines Kommentars zu erläutern.
Die Beteiligung am Open-Public-Peer-Review war mit zwei angefragten Begutachtenden und vier nicht angefragten Begutachtenden höher als in Verfahren ohne Open Participation. Dennoch blieb die Beteiligung hinter den Erwartungen der Autorinnen zurück. Es waren weitere Begutachtende angefragt, die zwar positiv auf die Anfrage antworteten, aber bis zum Ende der Begutachtungsfrist nicht kommentiert haben. Hier zeigt sich ein Nachteil des Arbeitens mit offenen Einladungen durch die Autor*innen anstatt verbindlicher Zusagen an die Zeitschrift. Ob diese nicht erfolgten Begutachtungen allerdings auf die Form der Open Identities zurückzuführen sind, wie Ross-Hellauer u.a. (2017) herausgearbeitet haben, ist eher fraglich, zumal die Angabe eines Klarnamens fakultativ war. Die Verbreitung über Social Media auf den Accounts der Autorinnen und ein Blogpost bei Wissenschaftskommunikation.de23 brachten zwar viel allgemeines Feedback, aber es blieb bei vier nicht angefragten Begutachtenden, die sich mal mit sehr vielen und mal nur mit wenigen Kommentaren eingebracht haben. Hier zeigt sich ein Vor- und zugleich Nachteil des Arbeitens mit Kommentaren anstatt geschlossenen Berichten: die Begutachtenden können ihren Zeitaufwand und den Umfang, also die Quantität ihrer Beteiligung, selbst bestimmen. Sie können sich zudem nur auf jene Aspekte konzentrieren, zu denen sie etwas beitragen können und möchten und sind nicht dazu angehalten, die gesamte Arbeit zu begutachten. Auch die qualitative Bandbreite ist dadurch deutlich diverser, was die vorgestellte Kommentaranalyse darlegt.
Es bleibt die Frage, wie eine höhere Motivation zur Beteiligung, in Form von mehr Begutachtenden und mehr auf inhaltliche Verbesserung zielenden Kommentaren, an Open-Public-Peer-Reviews erreicht werden kann. Ein tieferer Einblick in die Motivationsgründe, bereits aktiver Begutachtender und die Gründe für eine fehlende Beteiligung bei Personen, die zwar gerne begutachten würden, es dann aber nicht tun, könnte dazu beitragen, künftig mehr Beteiligung zu generieren. Im direkten Gespräch mit einer Begutachtenden erwies sich die Hürde der Anmeldung im hier vorgestellten Open-Public-Peer-Review als groß, wobei der persönliche Bezug zu den Autorinnen diese Hürde überwindbar machte. Daraus kann geschlossen werden, dass die Einbindung einer Kommentarfunktion, die beispielsweise mit bereits vorhandenen Accounts bedient werden kann, diese Hürde senken könnte. Als Beispiel hierfür sei ORCID genannt, da Forschende aller Disziplinen dort vertreten sind und ein entsprechender Account bei immer mehr Zeitschriften für die Einreichung obligatorisch ist. Hier ergibt sich jedoch die Schwierigkeit, dass dieses Vorgehen zwangsläufig zu Open Identities führt. Bisher lässt das Online-Annotations-Tool Hypothesis einen Login über ORCID aber ohnehin nicht zu. Eine Kommentarfunktion ohne Login wäre im Gegensatz dazu sehr anfällig für Spam und möglichen Vandalismus. Ein weiterer Motivationsfaktor könnte analog zu anderen Zeitschriften sein, die Begutachtungstätigkeit durch entsprechende Bestätigungsverfahren und Schnittstellen nach außen sichtbar zu machen, wie es im ORCID-Profil möglich ist.
Abschließend lässt sich festhalten, dass es möglich ist, mit gutem Beispiel voranzugehen und ein interdisziplinäres Open-Peer-Review-Verfahren durchzuführen. Die Erfahrungen damit bewerten die Autorinnen für die Fallstudie vermehrt als positiv. Durch die nicht vorgeschriebene Open Identity konnte einerseits einer der eingangs erwähnten Faktoren, die zu weniger kritischen Gutachten führen können, ausgeschlossen werden und zum anderen ermöglichte es den Autorinnen, die Kommentare abseits persönlicher Verbindungen zunächst wertneutral anzunehmen. Es fehlt nach Ansicht der Autorinnen dennoch an Ideen für mehr Motivation für quantitative und qualitative Beteiligung. Zudem braucht es eine gewisse Persönlichkeitsstruktur, um die eigene Arbeit entsprechend begutachten zu lassen, Begutachtende selbst anzuschreiben und zu motivieren und Kritik an der eigenen Arbeit öffentlich einsehbar zu machen.
Dieses Werk steht unter der Lizenz Creative Commons Namensnennung 4.0.
1 UNESCO: Online Open Access programme and meeting document Understanding open science, UNESCO, 11.2022, https://doi.org/10.54677/UTCD9302.
2 Schmidt, Birgit; Ross-Hellauer, Tony; Edig, Xenia van u.a.: Ten considerations for open peer review, 29.06.2018, S. 5, https://doi.org/10.12688/f1000research.15334.1.
3 Dieser Beitrag bezieht sich auf den Vortrag der Autorinnen mit dem Titel „Die Rolle der Community im Open Public Peer Review des Referenzrahmens für eigenständige digitale Wissenschaftskommunikation“ am 05.06.2024 bei der 112. BiblioCon 2024 in Hamburg, https://nbn-resolving.org/urn:nbn:de:0290-opus4-190094.
4 Frick, Claudia; Seltmann, Melanie: Wissenschaftskommunikation, in: Engelkenmeier, Ute; Keller-Loibl, Kerstin; Schmid-Ruhe, Bernd u.a. (Hg.): Handbuch Bibliothekspädagogik, 2024, S. 291–304, https://doi.org/10.1515/9783111032030-027.
5 Frick, Claudia; Seltmann, Melanie: Referenzrahmen für eigenständige digitale Wissenschaftskommunikation durch Forschende, in: Zeitschrift für digitale Geisteswissenschaften 2024 (3), https://doi.org/10.17175/wp_2023b_v2.
6 Zeitschrift für digitale Geisteswissenschaften, https://zfdg.de, Stand: 26.06.2024.
7 Sedaghat, Ahmad R.; Bernal-Sprekelsen, Manuel; Fokkens, Wytske J. u.a.: How to be a good reviewer. A step-by-step guide for approaching peer review of a scientific manuscript, in: Laryngoscope Investigative Otolaryngology 9 (3), 2024, S. e1266, https://doi.org/10.1002/lio2.1266.
8 Dirnagl, Ulrich: Der Peer Review ist tot, lang lebe der Peer Review!, in: Laborjournal, 08.12.2020, https://www.labor journal.de/rubric/narr/narr/n_20_10.php, Stand: 06.01.2021.
9 Heesen, Remco; Bright, Liam Kofi: Is Peer Review a Good Idea?, in: The British Journal for the Philosophy of Science 72 (3), 01.09.2021, S. 635–663, https://doi.org/10.1093/bjps/axz029.
10 Mitchell Crow, James: Peer-replication model aims to address science’s ‘reproducibility crisis’, in: Nature, 13.03.2024, https://doi.org/10.1038/d41586-024-00796-0.
11 Ross-Hellauer, Tony: What is open peer review? A systematic review, in: F1000Research 6, 31.08.2017, S. 588, https://doi.org/10.12688/f1000research.11369.2.
12 Bianchi, Federico; Squazzoni, Flaminio: Can transparency undermine peer review? A simulation model of scientist behavior under open peer review, in: Science and Public Policy 49 (5), 01.10.2022, S. 792, https://doi.org/10.1093/scipol/scac027.
13 Schmidt u.a.: Ten considerations for open peer review, S. 3.
14 Ross-Hellauer, Tony; Deppe, Arvid; Schmidt, Birgit: Survey on open peer review. Attitudes and experience amongst editors, authors and reviewers, in: PLOS ONE 12 (12), 13.12.2017, S. 12–13, https://doi.org/10.1371/journal.pone.0189311.
15 Ebd., S. 15.
16 Ebd., S. 16–19.
17 Ebd., S. 21.
18 Zeitschrift für digitale Geisteswissenschaften: R wie Review-Verfahren, 01.2023, https://zfdg.de/r-wie-review-verfahren, Stand: 18.06.2024.
19 Hypothesis. Online: https://web.hypothes.is, Stand: 15.07.2024
21 Baumgarten, Marcus; Fricke-Steyer, Henrike; Iglesia, Martin de la u.a.: Transparenz im Fokus. Die Publikationspraxis der Zeitschrift für digitale Geisteswissenschaften, Posterpräsentation, 21.02.2024, https://doi.org/10.5281/zenodo.10706093.
22 Bornmann, Lutz; Nast, Irina; Daniel, Hans-Dieter: Do editors and referees look for signs of scientific misconduct when reviewing manuscripts? A quantitative content analysis of studies that examined review criteria and reasons for accepting and rejecting manuscripts for publication, in: Scientometrics 77 (3), 12.2008, S. 415–432, https://doi.org/10.1007/s11192-007-1950-2; Bornmann, Lutz; Herich, Hanna; Joos, Hanna u.a.: In public peer review of submitted manuscripts, how do reviewer comments differ from comments written by interested members of the scientific community? A content analysis of comments written for Atmospheric Chemistry and Physics, in: Scientometrics 93 (3), 12.2012, S. 915–929, https://doi.org/10.1007/s11192-012-0731-8.
23 Frick, Claudia; Seltmann, Melanie: „Alle Perspektiven sind willkommen und wertvoll“, Wissenschaftskommunikation.de, 17.07.2023, https://www.wissenschaftskommunikation.de/alle-perspektiven-sind-willkommen-und-wertvoll-68511/, Stand: 26.07.2023.