Die Kerngedanken
- Das Team unter Leitung von Forschenden des MIT und des Dana-Farber Cancer Institute untersuchte mithilfe von Sprachmodellen, Softwaretools und menschlichen Prüfungen fast 4.000 Studien zu klinischen Vorhersagemodellen.
- Etwa eine von acht Studien gab an, Code bereitzustellen; Dokumentation und Bedingungen für die Wiederverwendung variierten erheblich.
- Die Ergebnisse fließen in TRIPOD-Code ein, einen Leitfaden in Entwicklung; bei der Bewertung werden mögliche Klassifizierungsfehler eingeräumt und nicht alle Zählungen als exakt dargestellt.
Was das Team untersuchte
Eine Studie zu klinischen Vorhersagemodellen untersuchte, wie wissenschaftliche Artikel den Code bereitstellen, der in ihren Analysen verwendet wurde. Das internationale Team unter Leitung von Forschenden des MIT und des Dana-Farber Cancer Institute analysierte fast 4.000 Studien, in denen Modelle zur Schätzung von Patientenergebnissen entwickelt, aktualisiert oder validiert wurden, etwa des Risikos, eine Erkrankung zu entwickeln. Die vollständigen Artikel waren in der Open-Access-Sammlung von PubMed Central verfügbar.
Laut den vom MIT veröffentlichten Informationen nutzten die Forschenden große Sprachmodelle, um in den Artikeln Aussagen zur Verfügbarkeit von Code zu finden und Links zu den zugehörigen Repositorien zu extrahieren. Anschließend riefen Softwaretools diese Repositorien ab, um sie zu bewerten. Die Analyse beschränkte sich nicht darauf, zu prüfen, ob ein Link vorhanden war: Sie berücksichtigte auch Aspekte wie Dokumentation, Softwareanforderungen und Bedingungen für die Wiederverwendung.
Das methodische Interesse besteht darin, dass Daten und Code dabei helfen können, nachzuvollziehen, was in einer Studie getan wurde: zum Beispiel, wie die Patientinnen und Patienten ausgewählt wurden, wie mit fehlenden Werten umgegangen wurde und wie die Ergebnisse ausgewertet wurden. Entscheidungen bei der Datenaufbereitung, der Entwicklung von Modellen und der Auswertung können die Ergebnisse beeinflussen; ein Methodenabschnitt allein beschreibt sie möglicherweise nicht mit allen nötigen Einzelheiten.
Bereitstellung ermöglicht nicht immer die Wiederverwendung
Die Studie stellte zwei wesentliche Mängel fest: Code wurde nach wie vor nur selten bereitgestellt, und wenn er öffentlich zugänglich war, enthielt das Material nicht immer die Dokumentation und ergänzenden Informationen, die für eine Wiederverwendung nötig sind. Insgesamt gaben etwa eine von acht Studien an, Code bereitzustellen. Die Qualität der Repositorien variierte: Einige waren gut strukturiert und ausführlich beschrieben, während andere nur wenige Hinweise zum Verständnis oder zur Ausführung boten.
Die Untersuchung stellte auch Unterschiede zwischen Zeitschriften und Ländern fest. Je nach Zeitschrift reichte der Anteil der Studien, die Code bereitstellten, von null bis zu mehr als 70 Prozent. Einige Zeitschriften mit niedrigen Anteilen hatten schriftliche Richtlinien zur Bereitstellung von Code. Das Ergebnis deutet darauf hin, dass eine Richtlinie allein nicht unbedingt ausreicht, um diese Praxis zu verbreiten; die verfügbaren Informationen erklären für sich genommen nicht, wodurch die beobachteten Unterschiede verursacht werden.
| Bewerteter Aspekt | Beschreibung laut MIT-Quelle |
|---|---|
| Verfügbarkeit | Etwa eine von acht Studien gab an, Code bereitzustellen. |
| Repositorien | Struktur und Dokumentation variierten erheblich. |
| Bewertung | Berücksichtigt wurden Dokumentation, Softwareanforderungen und Bedingungen für die Wiederverwendung. |
| Unterschiede | Je nach Zeitschrift lag der Anteil der Studien mit bereitgestelltem Code zwischen null und mehr als 70 %. |
| Beispiel für eine hilfreiche Praxis | Einige Teams stellten synthetische Daten bereit, um die Wiederverwendung zu erleichtern, wenn die Originaldaten der Patientinnen und Patienten nicht öffentlich gemacht werden konnten. |
Synthetische Daten sind laut MIT ein Beispiel dafür, wie unterstützendes Material bereitgestellt werden kann, ohne die Originaldaten zu veröffentlichen. Die Quelle erläutert hier weder, welche Methoden zu ihrer Erzeugung verwendet wurden, noch bewertet sie, ob alle synthetischen Datensätze die Reproduktion der Ergebnisse der entsprechenden Studien ermöglichen.
Was die Automatisierung leistet und wo ihre Grenzen liegen
Informationen über Code erschienen in Artikeln und Repositorien in sehr unterschiedlichen Formen und ließen sich daher nicht einfach in einem einheitlichen Feld suchen. Sprachmodelle halfen dabei, dieses unstrukturierte Material in großem Umfang zu verarbeiten. Die Bewertung umfasste jedoch auch menschliche Prüfungen: Zwei Forschende überprüften unabhängig voneinander 500 Artikel und eine separate Stichprobe von Repositorien, klärten Abweichungen und verglichen ihre Einschätzungen mit den automatisierten Ergebnissen.
Die Übereinstimmung war bei konkreten Merkmalen – etwa dem Vorhandensein einer Lizenzdatei – größer als bei Einschätzungen dazu, ob die Dokumentation angemessen war. Deshalb betonen die Autorinnen und Autoren die allgemeinen Muster und weisen auf mögliche Klassifizierungsfehler hin; sie stellen nicht jede Zählung als exakt dar. Die Automatisierung ermöglichte eine Ausweitung der Analyse, machte es aber nicht überflüssig, Kriterien festzulegen und qualitative Aspekte zu interpretieren.
Ein Leitfaden in Entwicklung
Die Ergebnisse fließen in die Entwicklung von TRIPOD-Code ein, einem Leitfaden, der klären soll, welche Elemente zusammen mit dem Analysecode bereitgestellt werden sollten. Laut MIT baut diese Initiative auf TRIPOD und TRIPOD+AI auf, Checklisten für die Berichterstattung über die Entwicklung und Bewertung klinischer Vorhersagemodelle. Das Team erarbeitet Empfehlungen im Rahmen eines Expertenprüfungsverfahrens; die Quelle beschreibt den Leitfaden als in Arbeit und nicht als bereits fertiggestellte Norm.
Der Bedarf an Orientierung für diese Praktiken ergibt sich daraus, dass an der klinischen Vorhersageforschung Fachleute aus Medizin, Statistik und Informatik beteiligt sind, deren Erwartungen an Dokumentation und Veröffentlichung voneinander abweichen können. Das erklärte Ziel von TRIPOD-Code ist es, Forschenden praktische Empfehlungen und Zeitschriften klarere Erwartungen zu bieten. Die Studie liefert beschreibende Evidenz für diese Diskussionen, weist aber nicht selbst nach, dass ein künftiger Leitfaden die Verfügbarkeit von Code oder seine Wiederverwendung erhöhen wird.
Als allgemeine institutionelle Referenz beschreibt die National Science Foundation ihre Unterstützung für Forschung und Bildung in den Natur- und Ingenieurwissenschaften; diese Informationen bestätigen die Ergebnisse dieser klinischen Analyse jedoch nicht unabhängig. NSF: Unterstützung der Forschung. Das Verzeichnis der NSF zur Materialforschung bezieht sich auf Programme in den Natur- und Materialwissenschaften, einem anderen Bereich als die Analyse von Code in klinischen Vorhersagestudien, und bestätigt daher die Ergebnisse nicht spezifisch.
Die Verweise auf die National Science Foundation dienen als institutioneller Kontext und stellen keine unabhängige Überprüfung der Ergebnisse der Analyse dar.
Was wir wissen und wo die Grenzen liegen
Die Analyse beschränkte sich auf klinische Vorhersagestudien in der Open-Access-Sammlung von PubMed Central sowie auf Artikel und Repositorien, die untersucht werden konnten. Die Quelle weist darauf hin, dass Klassifizierungsfehler möglich sind, insbesondere bei qualitativen Einschätzungen zur Angemessenheit der Dokumentation. Daher sollten die Zählungen als allgemeine Muster und nicht als exakte Zahlen interpretiert werden. Die Ergebnisse beschreiben Veröffentlichungspraktiken und belegen weder, dass redaktionelle Richtlinien diese Praktiken verursachen, noch, dass TRIPOD-Code sie verändern wird. Die angegebenen NSF-Verweise dienen dem institutionellen Kontext und bestätigen diese Studie nicht unabhängig.
Originalquellen3
Die Originalquellen zum Erkunden dieser Erklärung und ihrer Grenzen.
- Studien und Ergebnisse: Wie die NSF die Forschung unterstützt NSF
-
Wie die Forschung zu Materialien und ihren Ergebnissen organisiert ist
NSF
Institutionelle Referenz zum Kontext. Sie stellt keine unabhängige Bestätigung der Ergebnisse der Hauptquelle dar. - KI hilft Forschenden dabei zu untersuchen, wie Tausende medizinische Studien Code gemeinsam nutzen MIT
Bildnachweise
Minimalistic text 'Medical Research' in colorful letters on a neutral background. · Foto von Tara Winstead auf Pexels · Originalquelle · Pexels License · Skaliert und als JPEG neu kodiert; der vollständige Bildausschnitt bleibt erhalten.