Le idee chiave
- L’équipe guidata da ricercatori del MIT e del Dana-Farber Cancer Institute ha esaminato quasi 4.000 studi sui modelli di predizione clinica usando modelli linguistici, strumenti software e verifiche umane.
- Circa uno studio su otto riferiva di condividere il codice; la documentazione e le condizioni per riutilizzarlo variavano ampiamente.
- I risultati stanno contribuendo a TRIPOD-Code, una guida in fase di sviluppo; la valutazione riconosce possibili errori di classificazione e non presenta ogni conteggio come esatto.
Che cosa ha esaminato l’équipe
Uno studio sui modelli di predizione clinica ha esaminato il modo in cui gli articoli scientifici condividono il codice utilizzato nelle loro analisi. L’équipe internazionale, guidata da ricercatori del MIT e del Dana-Farber Cancer Institute, ha analizzato quasi 4.000 studi che hanno sviluppato, aggiornato o convalidato modelli per stimare gli esiti dei pazienti, come il rischio di sviluppare una malattia. Gli articoli integrali erano disponibili nella raccolta ad accesso aperto di PubMed Central.
Secondo le informazioni diffuse dal MIT, i ricercatori hanno utilizzato modelli linguistici di grandi dimensioni per individuare negli articoli le dichiarazioni sulla disponibilità del codice ed estrarre i link ai relativi repository. In seguito, strumenti software hanno recuperato tali repository per valutarli. L’analisi non si è limitata a verificare l’esistenza di un link: ha considerato anche aspetti come la documentazione, i requisiti software e le condizioni di riutilizzo.
L’interesse metodologico è che i dati e il codice possono aiutare a esaminare che cosa è stato fatto in uno studio: per esempio, come sono stati selezionati i pazienti, come sono stati trattati i valori mancanti e come sono stati valutati i risultati. Le decisioni adottate durante la preparazione dei dati, lo sviluppo dei modelli e la valutazione possono influire sui risultati; una sezione sui metodi, da sola, potrebbe non descriverle con tutti i dettagli necessari.
Condividere non significa sempre consentire il riutilizzo
Lo studio ha individuato due principali lacune: la condivisione del codice era ancora poco frequente e, quando il codice veniva reso pubblico, il materiale non sempre includeva la documentazione e le informazioni supplementari necessarie per riutilizzarlo. Nel complesso, circa uno studio su otto dichiarava di condividere il codice. La qualità dei repository variava: alcuni erano organizzati e descritti in modo dettagliato, mentre altri fornivano poche indicazioni per comprenderli o eseguirli.
La revisione ha inoltre rilevato differenze tra riviste e paesi. Tra le riviste, la percentuale di studi che condividevano il codice andava da zero a oltre il 70 per cento. Alcune riviste con percentuali basse avevano politiche scritte sulla condivisione del codice. Il risultato suggerisce che disporre di una politica non è necessariamente sufficiente a generalizzare la pratica; le informazioni disponibili, da sole, non stabiliscono che cosa causi le differenze osservate.
| Aspetto valutato | Che cosa descrive la fonte del MIT |
|---|---|
| Disponibilità | Circa uno studio su otto riferiva di condividere il codice. |
| Repository | L’organizzazione e la documentazione variavano ampiamente. |
| Valutazione | Sono stati considerati la documentazione, i requisiti software e le condizioni di riutilizzo. |
| Variazione | A seconda della rivista, la percentuale di studi con codice condiviso oscillava da zero a oltre il 70 %. |
| Esempio di pratica utile | Alcune équipe hanno fornito dati sintetici per facilitare il riutilizzo quando non era possibile rendere pubblici i dati originali dei pazienti. |
I dati sintetici sono un esempio di come offrire materiale di supporto senza pubblicare i dati originali, secondo il MIT. La fonte non specifica qui quali metodi siano stati impiegati per generarli, né valuta se tutti i set di dati sintetici consentano di riprodurre i risultati degli studi corrispondenti.
Che cosa offre l’automazione e quali sono i suoi limiti
Le informazioni sul codice comparivano in modi molto diversi negli articoli e nei repository, perciò non era possibile cercarle semplicemente in un campo uniforme. I modelli linguistici hanno aiutato a elaborare su larga scala questo materiale non strutturato. Tuttavia, la valutazione ha incluso verifiche umane: due ricercatori hanno esaminato in modo indipendente 500 articoli e un campione separato di repository, hanno risolto le discrepanze e confrontato i propri giudizi con i risultati automatizzati.
La concordanza era maggiore per le caratteristiche concrete — per esempio, la presenza di un file di licenza — che per le valutazioni sull’adeguatezza della documentazione. Per questo, gli autori evidenziano gli schemi generali e avvertono che possono verificarsi errori di classificazione; non presentano ogni conteggio come esatto. L’automazione ha permesso di ampliare l’analisi, ma non ha eliminato la necessità di definire criteri né di interpretare gli aspetti qualitativi.
Una guida in fase di sviluppo
I risultati stanno contribuendo allo sviluppo di TRIPOD-Code, una guida che mira a chiarire quali elementi dovrebbero essere condivisi insieme al codice analitico. Secondo il MIT, questa iniziativa si basa su TRIPOD e TRIPOD+AI, liste di controllo per la rendicontazione dello sviluppo e della valutazione dei modelli di predizione clinica. L’équipe sta elaborando raccomandazioni attraverso un processo di revisione da parte di esperti; la fonte descrive la guida come un lavoro in corso, non come una norma già definitiva.
La necessità di orientare queste pratiche deriva dal fatto che la ricerca sulla predizione clinica riunisce professionisti di medicina, statistica e informatica, le cui aspettative in materia di documentazione e diffusione possono essere diverse. L’obiettivo dichiarato di TRIPOD-Code è fornire indicazioni pratiche ai ricercatori e aspettative più chiare alle riviste. Lo studio apporta evidenze descrittive a queste discussioni, ma non dimostra di per sé che una futura guida aumenterà la disponibilità del codice o il suo riutilizzo.
Come riferimento istituzionale generale, la National Science Foundation descrive il sostegno che offre alla ricerca e all’istruzione nel campo delle scienze e dell’ingegneria, ma queste informazioni non confermano in modo indipendente i risultati di questa analisi clinica. NSF: sostegno alla ricerca. Il suo repertorio sulla ricerca sui materiali riguarda programmi di scienze fisiche e dei materiali, un campo diverso dall’analisi del codice negli studi di predizione clinica, e quindi non fornisce una conferma specifica dei risultati.
I riferimenti alla National Science Foundation forniscono un contesto istituzionale, non una verifica indipendente dei risultati dell’analisi.
Ciò che sappiamo e i suoi limiti
L’analisi si è limitata agli studi di predizione clinica inclusi nella raccolta ad accesso aperto di PubMed Central e agli articoli e repository che è stato possibile esaminare. La fonte avverte che sono possibili errori di classificazione, soprattutto nei giudizi qualitativi sull’adeguatezza della documentazione; i conteggi vanno quindi interpretati come schemi generali e non come cifre esatte. I risultati descrivono le pratiche di pubblicazione e non dimostrano che le politiche editoriali causino tali pratiche o che TRIPOD-Code le modificherà. I riferimenti alla NSF forniti sono di contesto istituzionale e non corroborano in modo indipendente questo studio.
Fonti originali3
Le fonti originali per approfondire questa spiegazione e i suoi limiti.
- Studi e risultati: come la NSF sostiene la ricerca NSF
-
Come si organizza la ricerca sui materiali e quali sono i suoi risultati
NSF
Riferimento istituzionale di contesto. Non costituisce una conferma indipendente dei risultati della fonte principale. - L’IA aiuta i ricercatori a indagare come migliaia di studi medici condividono il codice MIT
Crediti delle immagini
Minimalistic text 'Medical Research' in colorful letters on a neutral background. · Foto di Tara Winstead su Pexels · Fonte originale · Pexels License · Ridimensionata e ricodificata come JPEG; l’inquadratura completa è stata mantenuta.