Die Kerngedanken
- Die European Commission stellt offene Wissenschaft als einen Ansatz dar, der frühen Austausch, Transparenz, reproduzierbare Praktiken, Zusammenarbeit und ein verantwortungsvolles Management von Ergebnissen vereint.
- CERN Open Data veranschaulicht, dass Datenstufen und die Verfügbarkeit von Programmen und Dokumentation die möglichen Analysen eingrenzen; es belegt nicht die Reproduktion einer konkreten Studie.
- Die National Academies stellen Fragen zu Definitionen und Faktoren, die Reproduzierbarkeit und Replikation beeinflussen; der Auszug enthält jedoch weder endgültige Definitionen noch eine allgemeine Schätzung.
1. Offene Wissenschaft vereint Praktiken, ist aber keine automatische Garantie
Die European Commission stellt offene Wissenschaft als einen Ansatz für den wissenschaftlichen Prozess dar, der den frühen und offenen Austausch von Ergebnissen, den Einsatz transparenter und reproduzierbarer Praktiken, die Zusammenarbeit über Disziplinen und Sektoren hinweg sowie die Einbeziehung der Gesellschaft umfasst. Die Institution verortet diesen Ansatz im Zentrum der europäischen Forschungspolitik und vertritt die Auffassung, dass die Öffnung des Systems Austausch und Zusammenarbeit begünstigen kann.
Zu den aufgeführten Praktiken gehören Präregistrierung, registrierte Berichte, die Ablage von Daten in gemeinsam genutzten Repositorien, die Verbreitung von Preprints und die Zusammenarbeit mit anderen Produzenten und Nutzern von Wissen. Die Kommission berücksichtigt außerdem den offenen Zugang zu Veröffentlichungen, Daten, Modellen, Algorithmen, Programmen, Protokollen, Notizbüchern und Arbeitsabläufen. Diese Maßnahmen werden als Bestandteile eines offenen Forschungssystems dargestellt, zusammen mit der Entwicklung von Anreizen, Kompetenzen und Infrastrukturen.
Die Kommission verknüpft das verantwortungsvolle Management von Ergebnissen mit den FAIR-Prinzipien: Die Produkte sollen auffindbar, zugänglich, interoperabel und wiederverwendbar sein. Zu ihren Zielen zählt sie auch, die Überprüfung und Reproduzierbarkeit von Forschungsergebnissen zu erleichtern. Damit lässt sich die Frage teilweise beantworten, was eine Studie benötigen kann, um geprüft zu werden: zugängliche und verwaltete Materialien sowie Praktiken, die Arbeitsschritte sichtbar machen. Der Auszug legt jedoch weder ein universelles Bündel hinreichender Anforderungen fest noch belegt er, dass die Übernahme einer einzelnen Praxis für sich genommen garantiert, dass ein anderes Team dasselbe Ergebnis erzielt.
2. Daten, Programme und Dokumentation grenzen mögliche Analysen ein
Die Dokumentation von CERN Open Data bietet ein konkretes Beispiel für ein Repositorium, das Forschungsergebnisse bewahrt und sie durch Programme und Dokumentation ergänzt, die dem Verständnis und der Analyse der Daten dienen. Bei den LHC-Experimenten unterscheidet das Portal vier Datenstufen. Die Klassifizierung zeigt, dass der Ausdruck verfügbare Daten Materialien mit unterschiedlichem Detaillierungsgrad und verschiedenen Verwendungszwecken umfassen kann.
Stufe 1 ergänzt veröffentlichte Ergebnisse um Informationen wie Abbildungen und Tabellen. Stufe 2 umfasst vereinfachte Formate für die Öffentlichkeitsarbeit und die Ausbildung in der Datenanalyse. Stufe 3 enthält rekonstruierte Kollisionsdaten und simulierte Daten sowie spezielle Analyseprogramme; dem Portal zufolge ermöglichen sie vollständige wissenschaftliche Analysen auf Grundlage der vorhandenen Rekonstruktion. Stufe 4 umfasst Rohdaten zusammen mit Rekonstruktions- und Simulationsprogrammen und kann es ermöglichen, neue simulierte Signale zu erzeugen oder Daten erneut zu rekonstruieren. Das Portal konzentriert sich auf die Veröffentlichung von Daten der Stufen 2 und 3; die LHC-Kollaborationen können auch kleine Stichproben der Stufe 4 bereitstellen.
| Ressource oder Praxis | Was die Unterlagen beschreiben | Was sich damit belegen lässt und was nicht |
|---|---|---|
| Präregistrierung und registrierte Berichte | Die European Commission zählt sie zu den Praktiken des frühen Austauschs. | Es handelt sich um geförderte Praktiken; der Auszug erläutert weder Verfahren noch quantifiziert er ihre Auswirkungen. |
| Datenstufen | CERN Open Data beschreibt vier Stufen mit unterschiedlichen Datentypen und Verwendungszwecken. | Die Art der verfügbaren Materialien beeinflusst die möglichen Analysen; die Klassifizierung beweist nicht, dass eine Studie reproduziert wurde. |
| Programme und Dokumentation | CERN ergänzt die bewahrten Daten um Materialien zu ihrem Verständnis und ihrer Analyse. | Sie bieten Kontext für die Nutzung der Daten; der Auszug stellt nicht fest, dass alle Repositorien über dieselben Ressourcen verfügen. |
| FAIR-Management | Die European Commission fördert auffindbare, zugängliche, interoperable und wiederverwendbare Ergebnisse. | Der Auszug formuliert ein Managementprinzip, bewertet aber nicht seine Einhaltung in konkreten Studien. |
Die Unterscheidung zwischen den Stufen hilft, die redaktionelle Frage genauer zu fassen: Um eine Analyse zu prüfen, reicht es nicht zu wissen, dass Daten vorhanden sind; entscheidend ist, welche Daten, Programme und Dokumentation verfügbar sind und welche Arbeitsschritte sie ermöglichen. Dennoch ist die Beschreibung von CERN ein Beispiel für eine Infrastruktur und ihre Materialien, keine unabhängige Bewertung der Politik der Kommission und kein Beleg dafür, dass eine bestimmte Forschungsarbeit erfolgreich reproduziert wurde.
3. Die Definition von Reproduzierbarkeit hängt auch vom Fachgebiet ab
Die Referenz der National Academies liefert methodischen Kontext. Der Auszug beschreibt den Auftrag eines Komitees, Reproduzierbarkeit und Replikation in Wissenschaft und Ingenieurwesen zu untersuchen, Definitionen zu berücksichtigen, die der Vielfalt der Fachgebiete Rechnung tragen, und Faktoren zu prüfen, die diese Prozesse beeinflussen können, darunter Anreize, Methodik und Versuchsplanung. Außerdem soll ermittelt werden, welche Informationen möglicherweise fehlen, um das Ausmaß der Probleme festzustellen.
Die Seite weist darauf hin, dass die Wiederholung einer Forschungsarbeit zu den Wegen gehört, auf denen die wissenschaftliche Gemeinschaft die Gültigkeit einer Entdeckung prüft. Das bereitgestellte Material enthält jedoch Ziele und Fragestellungen der Arbeit, nicht deren endgültige Definitionen oder eine allgemeine Schätzung der Häufigkeit nicht reproduzierbarer oder nicht replizierter Ergebnisse. Daher sollten diese Begriffe hier nicht so behandelt werden, als legten die Unterlagen eine universelle Unterscheidung fest. Die vorsichtige Schlussfolgerung ist enger gefasst: Die Bedingungen für die Wiederholung oder Prüfung einer Studie hängen unter anderem davon ab, was im jeweiligen Fachgebiet unter diesen Prozessen verstanden wird und welche Materialien und Methoden zur Verfügung gestellt werden.
Insgesamt erfüllen die drei Referenzen unterschiedliche Funktionen. Die European Commission ist die Hauptquelle für die Beschreibung des institutionellen Ansatzes der offenen Wissenschaft und der von ihr geförderten Praktiken. CERN veranschaulicht, wie ein konkretes Portal Daten und Analysematerialien organisiert. Die National Academies liefern einen Rahmen methodischer Fragen zu Reproduzierbarkeit und Replikation. Die beiden Kontextreferenzen bestätigen weder unabhängig die institutionelle Politik noch belegen sie die Wirkung ihrer Maßnahmen.
Die Dokumentation ermöglicht es zu erläutern, welche Arten von Praktiken und Ressourcen anderen dabei helfen können, eine Forschungsarbeit zu prüfen. Offen bleiben jedoch wichtige Fragen: Welche Kombination von Materialien ist in den einzelnen Disziplinen hinreichend, wie wird die Qualität der Dokumentation bewertet und welche Auswirkungen haben offene Praktiken auf die Reproduzierbarkeit konkreter Studien? Die Auszüge liefern keine vergleichenden Belege, um diese Fragen zu beantworten.
Was wir wissen und wo die Grenzen liegen
Die Unterlagen umfassen keine konkreten Studien, die einer Reproduktion unterzogen wurden, keine Vergleichsergebnisse, Reproduzierbarkeitsraten und keine Bewertungen der Wirkung der Maßnahmen der European Commission. Ebenso wenig enthalten sie die endgültigen Definitionen von Reproduzierbarkeit und Replikation der National Academies oder eine Bewertung der Einhaltung der FAIR-Prinzipien in bestimmten Studien. Um Ergebnisse zu quantifizieren, wären vergleichbare Daten zu Studien, Fachgebieten, Verfahren und Ergebnissen von Reproduktionsversuchen erforderlich. CERN beschreibt ein Portal und dessen Materialien; die National Academies liefern methodischen Kontext. Keine dieser Referenzen stellt eine unabhängige Bestätigung der institutionellen Politik dar.
Den Belegen folgen
Die Originalquellen zum Erkunden dieser Erklärung und ihrer Grenzen.
- Reproduzierbarkeit und Replikation in der Wissenschaft, 2019
National Academies of Sciences, Engineering, and Medicine
Eine konsultierte Referenz zur Vertiefung und zum Abgleich der Erläuterung. Ihre Funktion und ihre Grenzen werden neben dem Inhalt angegeben. - CERN Open Data: Daten, Programme und Dokumentation
CERN Open Data Portal
Eine konsultierte Referenz zur Vertiefung und zum Abgleich der Erläuterung. Ihre Funktion und ihre Grenzen werden neben dem Inhalt angegeben. - Reproduzierbarkeit: Was eine Studie erfüllen muss, um wiederholt werden zu können
European Commission
Institutionelle Quelle der Europäischen Kommission. Der zum Abgleich verwendete Auszug bleibt erhalten. Referenzressource: Das angegebene Datum ist das Abrufdatum, nicht das Veröffentlichungsdatum des Dokuments.