Die Kerngedanken
- NIST ordnet die Qualität der von der Behörde verbreiteten Informationen anhand der Kriterien Nützlichkeit, Objektivität und Integrität und verknüpft wissenschaftliche Ergebnisse mit fundierten Forschungs- und statistischen Methoden.
- CERN Open Data verbindet aufbewahrte Daten mit Software und Dokumentation; die Datenstufe und die Zugangsrichtlinien bestimmen, welche Analysen durchgeführt werden können.
- Dokumentation erleichtert die Prüfung von Methoden und Analysen, doch der Zugang zu Daten oder die Wiederholung von Berechnungen stellt für sich allein keine unabhängige Bestätigung eines Ergebnisses dar.
Die Reproduzierbarkeit hängt unter anderem davon ab, ob andere nachvollziehen können, wie Ergebnisse erzielt und analysiert wurden. Doch Daten weiterzugeben oder eine Methode zu beschreiben, reicht für sich allein nicht aus, um zu belegen, dass eine Schlussfolgerung richtig ist. Dokumentation schafft Transparenz und kann die Wiederholung von Analysen ermöglichen; zur Bewertung der Informationsqualität müssen jedoch auch deren Grundlage, Darstellung und vorgesehener Verwendungszweck berücksichtigt werden.
NIST bietet einen institutionellen Rahmen, um über die Qualität der von der Behörde verbreiteten Informationen nachzudenken. Seine Richtlinien sind weder ein Bericht über die Reproduzierbarkeit wissenschaftlicher Studien noch eine unabhängige Bewertung konkreter Erkenntnisse. Zusammengenommen mit dem Ansatz der National Academies zu Reproduzierbarkeit und Replikation sowie dem Dokumentationsbeispiel von CERN Open Data helfen sie dabei, Qualitätskriterien, die Möglichkeit zur Analyse und die Bestätigung von Ergebnissen voneinander zu unterscheiden.
Informationsqualität: drei miteinander verbundene Dimensionen
NIST definiert Qualität als einen Begriff, der Nützlichkeit, Objektivität und Integrität umfasst. Bei der Nützlichkeit geht es darum, ob die Informationen ihren Adressaten, einschließlich der Öffentlichkeit, dienen. Objektivität hat zwei Komponenten: zum einen, dass Informationen genau, klar, vollständig, unparteiisch und im angemessenen Kontext dargestellt werden, und zum anderen, dass ihr Inhalt genau, zuverlässig und frei von Verzerrungen ist. In wissenschaftlichen, statistischen oder finanziellen Kontexten weist NIST darauf hin, dass ursprüngliche und unterstützende Daten mit fundierten Forschungsmethoden und statistischen Verfahren erzeugt und analytische Ergebnisse damit entwickelt werden sollten. Integrität bedeutet, Informationen vor unbefugtem Zugriff oder unbefugten Änderungen sowie vor Beschädigung oder Fälschung zu schützen. NIST
Diese Dimensionen ergänzen einander, sind aber nicht austauschbar. Eine klare Erklärung garantiert für sich genommen nicht, dass eine Analyse auf einer soliden Grundlage beruht; verfügbare Daten sind nicht automatisch für jede Fragestellung nützlich; und der Schutz einer Datei belegt nicht die Gültigkeit der daraus gezogenen Schlussfolgerungen. Der Rahmen von NIST betrifft die Qualität der von der Behörde verbreiteten Informationen gemäß ihren Richtlinien, nicht einen universellen Nachweis, der jedes wissenschaftliche Ergebnis bestätigt.
Transparenz ist wichtig, wenn sie für die Bewertung der Nützlichkeit von Informationen aus öffentlicher Sicht relevant ist, erklärt NIST. In der Forschung kann der Zugang zu unterstützenden Daten, Verfahren und Werkzeugen es anderen ermöglichen, die Arbeit zu verstehen und ihre Analysen zu prüfen. Die Möglichkeit, ein Ergebnis zu überprüfen, ist jedoch etwas anderes, als es unabhängig bestätigt zu haben.
Was Daten und Dokumentation beitragen können
Das Portal CERN Open Data bietet ein konkretes Beispiel dafür, wie aufbewahrte Daten mit den für ihre Analyse erforderlichen Ressourcen verknüpft werden. Laut seiner Beschreibung ermöglicht das Portal den Zugang zu Daten, die bei Forschungsaktivitäten am CERN erzeugt wurden, und umfasst die Software und Dokumentation, die zu ihrem Verständnis und ihrer Analyse erforderlich sind. Die Ressource konzentriert sich auf Ereignisdaten der Stufen 2 und 3; die LHC-Kollaborationen können zudem kleine Stichproben der Stufe 4 bereitstellen. Die Dokumentation des Portals beschreibt vier Datenstufen mit unterschiedlichen Detailgraden und Analysemöglichkeiten. CERN Open Data
| Von CERN beschriebene Datenstufe | Inhalt und in der Quelle genannte Möglichkeit |
|---|---|
| 1 | Zusätzliche Informationen zu veröffentlichten Ergebnissen, etwa Abbildungen und Tabellen. |
| 2 | Vereinfachte Formate für Wissenschaftskommunikation und die Ausbildung in der Analyse, etwa grundlegende Ereignisdaten im Vierervektorformat. |
| 3 | Rekonstruierte und simulierte Kollisionsdaten zusammen mit spezieller Analysesoftware, um mit der vorhandenen Rekonstruktion vollständige wissenschaftliche Analysen durchzuführen. |
| 4 | Unverarbeitete Rohdaten, sofern sie nicht bereits durch Stufe 3 abgedeckt sind, mit Rekonstruktions- und Simulationssoftware; sie können die Erzeugung neuer simulierter Signale oder die erneute Rekonstruktion von Daten ermöglichen. |
Die Beschreibung von CERN weist darauf hin, dass der Zugang von den Aufbewahrungs- und Zugangsrichtlinien der einzelnen Experimente abhängt, einschließlich etwaiger Sperrfristen. Ein bestehendes Portal bedeutet daher nicht, dass alle Daten sofort oder mit demselben Detailgrad verfügbar sind. Die Quelle gibt außerdem an, dass Datensätze und andere Materialien des Portals dauerhafte DOI-Kennungen erhalten und empfiehlt, sie bei einer Wiederverwendung zu zitieren. Hier werden sie als eine vom Portal beschriebene Eigenschaft erwähnt; es wird keine Kennung eines Datensatzes wiedergegeben.
In der Praxis bieten Daten, die von Software und Dokumentation begleitet werden, Möglichkeiten, Analysen nachzuvollziehen oder zu prüfen – innerhalb der Grenzen, die sich aus der Datenstufe und den Zugangsbedingungen ergeben. Das kann die rechnergestützte Reproduzierbarkeit begünstigen, garantiert aber weder, dass zwei Teams identische Ergebnisse erzielen, noch, dass eine Schlussfolgerung wahr ist.
Reproduzierbarkeit und Replikation sind nicht ein und derselbe Test
Die Seite der National Academies führt als Kontext an, dass die Wiederholung einer Untersuchung, die zu einer Entdeckung geführt hat, eine Möglichkeit darstellt, wie die wissenschaftliche Gemeinschaft deren Gültigkeit bestätigt. Dieser einführende Ansatz sollte nicht mit einer Schlussfolgerung des auf derselben Seite beschriebenen Komitees verwechselt werden: Dem Projekt zufolge würden die National Academies Fragen der Reproduzierbarkeit und Replikation in der wissenschaftlichen und ingenieurwissenschaftlichen Forschung untersuchen. Zu den vorgesehenen Aufgaben des Komitees gehört es, Definitionen zu erarbeiten, die der Vielfalt der Fachgebiete Rechnung tragen, und Faktoren im Zusammenhang mit Methodik, Versuchsplanung, Anreizen, Verantwortlichkeiten und vorsätzlicher Manipulation zu untersuchen. National Academies
Dieser Kontext verdeutlicht, warum Dokumentation wichtig ist: Sie kann sichtbar machen, welche Daten, methodischen Entscheidungen und Analysen in ein Ergebnis einfließen. Das hier zitierte Material der National Academies beschreibt jedoch den Umfang und die Fragestellungen eines Projekts; es enthält weder endgültige Definitionen noch Belege, anhand derer sich die Häufigkeit fehlgeschlagener Reproduktions- oder Replikationsversuche quantifizieren ließe. Ebenso wenig lässt sich daraus schließen, dass die Richtlinien von NIST oder das Modell von CERN nachweislich die Ergebnisse in der gesamten Forschung verbessern.
Daher sollten drei Fragen getrennt betrachtet werden. Ist das Verfahren ausreichend beschrieben? Das betrifft Transparenz und Dokumentation. Können die Daten analysiert und die Methoden ausgeführt werden? Das hängt unter anderem vom Zugang, der Software und der verfügbaren Datenstufe ab. Bestätigt eine andere Untersuchung das Ergebnis? Dafür ist eine gesonderte Bewertung erforderlich; Dateien zur Verfügung zu haben oder Berechnungen zu wiederholen, entspricht nicht automatisch einer unabhängigen Bestätigung.
Ein nützlicher Rahmen mit klar definierten Grenzen
Die Richtlinien von NIST stehen im Zusammenhang mit den von der Behörde selbst angeführten Gesetzen und bundesstaatlichen Leitlinien. NIST erklärt, dass sie regelmäßig anhand von Erfahrungen, sich ändernden Anforderungen und von der Öffentlichkeit geäußerten Anliegen überprüft werden können. Ihr institutioneller Geltungsbereich muss klar bleiben: Es handelt sich um einen Rahmen für die Qualität der von NIST verbreiteten Informationen, nicht um eine unabhängige Überprüfung der wissenschaftlichen Literatur oder eine aktuelle Feststellung zum allgemeinen Stand der Reproduzierbarkeit.
Der Nutzen der Kombination dieser Ressourcen liegt darin, dass sie verschiedene Aspekte des Problems beleuchten. NIST unterscheidet Kriterien zur Beurteilung verbreiteter Informationen; CERN dokumentiert ein System für den Zugang zu Daten, Software und Materialien mit unterschiedlichen Stufen und Bedingungen; die National Academies verorten Reproduzierbarkeit und Replikation als methodische Fragen, die fachgebietsübergreifend relevant sind. Zusammen helfen sie zu erklären, warum Dokumentation wichtig ist, ohne Verfügbarkeit mit Beweisen gleichzusetzen oder einer Quelle etwas zuzuschreiben, was eine andere nicht feststellt.
Eine reproduzierbare Praxis setzt voraus, dass neben der Aufbewahrung der notwendigen Elemente zum Verständnis und zur Prüfung einer Analyse auch die Qualität und der Kontext der Informationen berücksichtigt werden. Transparenz kann eine solche Prüfung erleichtern. Die Bestätigung eines Ergebnisses hängt dagegen von Belegen und Verfahren ab, die der jeweiligen wissenschaftlichen Fragestellung angemessen sind; sie ergibt sich nicht allein daraus, dass Daten dokumentiert oder zugänglich sind. Diese Unterscheidung ist wesentlich: Dokumentation ermöglicht eine bessere Bewertung einer Arbeit, ersetzt aber nicht die Bewertung ihrer Ergebnisse.
Was wir wissen und wo die Grenzen liegen
Die Hauptquelle von NIST beschreibt die institutionellen Richtlinien zur Qualität der von der Behörde verbreiteten Informationen; sie bewertet weder empirisch die Reproduzierbarkeit von Studien noch bestätigt sie Erkenntnisse. Die Verweise auf die National Academies und CERN bieten jeweils methodischen Kontext und ein Beispiel für Daten und Dokumentation. Das zitierte Material erlaubt es jedoch nicht, die Reproduzierbarkeit in der Wissenschaft zu quantifizieren oder nachzuweisen, dass diese Praktiken die Gültigkeit von Ergebnissen allgemein verbessern. Die Verfügbarkeit von Daten hängt von ihrer Stufe und den Zugangsrichtlinien der Experimente ab.
Den Belegen folgen
Die Originalquellen zum Erkunden dieser Erklärung und ihrer Grenzen.
- Reproduzierbarkeit und Replikation in der Wissenschaft, 2019 National Academies of Sciences, Engineering, and Medicine
- CERN Open Data: Daten, Programme und Dokumentation CERN Open Data Portal
- Reproduzierbarkeit und Informationsqualität: Dokumentation von Daten und Methoden NIST
Bildnachweise
Pesquisa reprodutível - Replicação e reprodução · Pablo J. Madril · Wikimedia Commons · CC BY-SA 4.0 · Originalquelle · CC BY-SA 4.0 · Skaliert und als JPEG neu kodiert; der vollständige Bildausschnitt bleibt erhalten.