Vom Ergebnis zur Evidenz: Wie eine Schlussfolgerung entsteht

Ein überraschendes Ergebnis weckt Neugier, doch eine wissenschaftliche Schlussfolgerung braucht mehr als Überraschung. Sie muss eine Frage mit Beobachtungen verknüpfen, erklären, wie diese gewonnen wurden, und zeigen, welche Alternativen weiterhin möglich sind. Die Wissenschaft folgt nicht immer einem linearen Rezept; sie verlangt jedoch, dass sich Aussagen konkreten Belegen und Kritik stellen können.

Eine Idee in eine Frage verwandeln

Zu sagen, ein Material sei besser, lässt vieles offen. Besser für welchen Einsatz, im Vergleich zu welcher Alternative und nach welchem Kriterium? Eine überprüfbare Frage könnte die von zwei Konstruktionen gespeicherte Energie unter demselben Verfahren vergleichen. Die Einführung von OpenStax zum wissenschaftlichen Denken hilft dabei, eine überprüfbare Erklärung von einer Aussage zu unterscheiden, die nicht angibt, welche Beobachtung sie infrage stellen könnte.

Eine Hypothese wird nicht dadurch zuverlässig, dass sie vor dem Experiment formuliert wurde. Eine klare Definition schränkt jedoch die Möglichkeit ein, die Frage nach Sichtung der Daten zu ändern. Außerdem lassen sich so Ergebnisse erkennen, die nicht den Erwartungen entsprechen. Solche Ergebnisse können aufschlussreich sein, auch wenn sie keine spektakuläre Schlagzeile hervorbringen.

Einen Vergleich entwerfen

Stellen wir uns einen fiktiven Versuch mit zwei Beschichtungen vor. Wenn wir die eine bei einer Temperatur und die andere bei einer anderen testen, vermischt das Ergebnis Material und Bedingungen. Wir müssen entscheiden, welche Variablen kontrolliert und welche verändert werden und wie die Versuchseinheiten zugeordnet werden. Das Handbuch des NIST zur Versuchsplanung ordnet diese Entscheidungen dem Ziel der Studie zu.

Kontrolle bedeutet nicht, die gesamte Realität einzufrieren. Sie bedeutet, einen Vergleich so zu gestalten, dass er eine klar abgegrenzte Frage beantworten kann. Anschließend muss untersucht werden, ob sich das Ergebnis auch unter anderen Bedingungen hält. Ein streng kontrolliertes Experiment kann einen Mechanismus klären und dennoch die Frage offenlassen, ob er in einer Fabrik oder in einer natürlichen Umgebung nützlich ist.

Messen heißt auch definieren

Bevor wir über Dezimalstellen diskutieren, müssen wir die Größe und die Einheit bestimmen. Dauer kann die Zeit bis zu einem Ausfall, die Zeit bis zum Verlust eines bestimmten Leistungsanteils oder die Zeit bedeuten, während der eine Bedingung aufrechterhalten wurde. Das sind unterschiedliche Definitionen, die verschiedene Zahlen ergeben können, ohne dass eine der Berechnungen falsch ist.

Das vom NIST beschriebene Internationale Einheitensystem bietet eine gemeinsame Einheitensprache. Dieselbe Einheit zu verwenden, garantiert jedoch nicht, dass exakt dasselbe gemessen wird. Zwei in Stunden angegebene Versuche können unvereinbare Kriterien für den Versuchsabschluss verwendet haben.

Unsicherheit muss erklärt werden

Eine Messung zu wiederholen hilft, ihre Variabilität zu untersuchen, beseitigt jedoch nicht automatisch einen systematischen Fehler. Auch Kalibrierung, Auflösung und Verfahren können zur Unsicherheit beitragen. Das NIST unterscheidet statistisch bewertete Komponenten von solchen, die anhand anderer Informationen bewertet werden. Diese Klassifizierung beschreibt, wie die Komponenten bewertet werden – nicht eine einfache Trennung zwischen zufälligen und systematischen Ursachen.

Eine Zahl mit einer Unsicherheitsangabe vermittelt mehr Information, wenn erläutert wird, wie diese berechnet wurde und welchen Geltungsbereich sie hat. Viele Dezimalstellen zu schreiben, belegt keine Präzision. Der Leitfaden des NIST zur Angabe von Unsicherheit unterstreicht, wie wichtig es ist, die Methode und die relevanten Komponenten zu beschreiben.

Zusammenhang, Erklärung und Geltungsbereich

Wenn wir beobachten, dass sich zwei Variablen gemeinsam verändern, kann es dennoch alternative Erklärungen geben. Eine dritte Variable kann beide beeinflussen; auch eine Auswahl der Teilnehmenden oder Änderungen im Verfahren sind möglich. Eine kausale Interpretation braucht eine Begründung, die das Design mit den Alternativen verknüpft, die ausgeschlossen werden sollen.

In unserem Beispiel mit der Beschichtung beweist eine Beobachtung geringerer Verschlechterung noch nicht, dass das Material in jedem Klima funktioniert oder eine bestimmte Anzahl von Jahren hält. Sie kann eine enger gefasste Schlussfolgerung stützen: Unter den getesteten Bedingungen und nach diesem Kriterium unterschied sich das gemessene Verhalten. Den Geltungsbereich präzise anzugeben, stärkt die Erklärung.

Die Studie und ihre Grenzen lesen

Beim Lesen einer Veröffentlichung können wir nach der Fragestellung, den Methoden, der Zahl unabhängiger Einheiten und der Art der Datenauswertung suchen. Außerdem sollten beobachtete Ergebnisse, die Interpretation der Autorinnen und Autoren sowie vorgeschlagene Anwendungen voneinander getrennt werden. Eine Pressemitteilung kann eine Arbeit gut zusammenfassen, ersetzt aber nicht die Einzelheiten, anhand derer sich ihre Schlussfolgerungen beurteilen lassen.

Peer Review ist ein Prüfverfahren, keine Garantie für Unfehlbarkeit. Die Übereinstimmung zwischen Beobachtungen, Methoden und Forschungsteams stärkt eine Schlussfolgerung. Dieser Leitfaden bietet Fragen zum Lesen von Forschung; er zertifiziert keine Studie und behauptet nicht, dass diese Texte von Menschen geprüft wurden. Jeder SciClue-Artikel nennt seine Quellen, damit die Angaben überprüft werden können und die Grenzen der Erklärung sichtbar bleiben.

Was wir hinterlassen, damit andere es überprüfen können

Der Bericht Reproducibility and Replicability in Science der National Academies untersucht, wie Wiederholungen und Gegenprüfungen von Forschung das Vertrauen stärken können und welche Hindernisse dem entgegenstehen. Er warnt auch davor, eine Abweichung automatisch als Betrug zu interpretieren: Sie kann Grenzen eines Verfahrens aufzeigen oder eine neue Frage eröffnen.

Eine praktische Möglichkeit, diesen Gedanken anzuwenden, besteht darin, die für die Überprüfung einer Berechnung nötigen Informationen von denen zu trennen, die für neue Beobachtungen erforderlich sind. Es handelt sich um zusammenhängende Aufgaben, die jedoch jeweils eine andere Frage beantworten. Eine Ergebnisdatei ohne Einheiten oder Anweisungen kann transparent wirken und dennoch nicht ausreichen, um die Analyse zu überprüfen.

Die folgende Ressource ist ein Leseleitfaden, kein Reproduzierbarkeitszertifikat. Bei einer konkreten Studie hilft die Frage Was könnte eine andere Person anhand der verfügbaren Informationen überprüfen?, fehlende Belege zu erkennen. Auch Zugangsbeschränkungen müssen erläutert werden: Sensible Daten lassen sich nicht immer veröffentlichen und ein nicht wiederholbares Ereignis nicht erneut herbeiführen.