Riproducibilità scientifica: qualità dell’informazione e documentazione secondo NIST

La riproducibilità dipende, tra le altre cose, dal fatto che altre persone possano esaminare come sono stati ottenuti e analizzati dei risultati. Ma condividere dati o descrivere un metodo non basta, da solo, a dimostrare che una conclusione sia corretta. La documentazione apporta trasparenza e può rendere possibile ripetere le analisi; per valutare la qualità delle informazioni occorre considerare anche il loro fondamento, la loro presentazione e l’uso a cui sono destinate.

NIST offre un quadro istituzionale per riflettere sulla qualità delle informazioni che diffonde. Le sue linee guida non sono un rapporto sulla riproducibilità degli studi scientifici né una valutazione indipendente di risultati specifici. Letti insieme all’approccio delle National Academies alla riproducibilità e alla replicabilità e all’esempio documentale di CERN Open Data, consentono di distinguere i criteri di qualità, la possibilità di analisi e la conferma dei risultati.

Qualità dell’informazione: tre dimensioni correlate

NIST definisce la qualità come un termine che comprende utilità, obiettività e integrità. L’utilità si chiede se le informazioni siano utili ai loro destinatari, compreso il pubblico. L’obiettività ha due componenti: che le informazioni siano presentate in modo accurato, chiaro, completo, imparziale e nel contesto appropriato, e che il loro contenuto sia accurato, affidabile e privo di pregiudizi. Nei contesti scientifici, statistici o finanziari, NIST indica che i dati originari e di supporto devono essere generati, e i risultati analitici sviluppati, mediante solidi metodi di ricerca e statistici. L’integrità si riferisce alla protezione delle informazioni da accessi o modifiche non autorizzati, nonché dalla corruzione o dalla falsificazione. NIST

Queste dimensioni si completano a vicenda, ma non sono intercambiabili. Una spiegazione chiara non garantisce, da sola, che l’analisi sia fondata correttamente; la disponibilità di dati non assicura che siano utili per qualsiasi domanda; e la protezione di un file non stabilisce la validità delle conclusioni che se ne traggono. Il quadro di NIST riguarda la qualità delle informazioni diffuse dall’istituzione, secondo le sue linee guida, non una prova universale che certifichi ogni risultato scientifico.

La trasparenza è importante quando è pertinente per valutare l’utilità delle informazioni dal punto di vista del pubblico, indica NIST. Nella ricerca, rendere accessibili i dati di supporto, le procedure e gli strumenti può consentire ad altre persone di comprendere il lavoro e di esaminarne le analisi. Tuttavia, la possibilità di verificare un risultato è diversa dall’averlo confermato in modo indipendente.

Cosa possono offrire i dati e la documentazione

Il portale CERN Open Data offre un esempio concreto di come i dati conservati siano collegati alle risorse necessarie per analizzarli. Secondo la sua descrizione, il portale fornisce accesso ai dati prodotti dalle attività di ricerca al CERN e include il software e la documentazione necessari per comprenderli e analizzarli. La risorsa si concentra sui dati degli eventi dei livelli 2 e 3; le collaborazioni del LHC possono fornire anche piccoli campioni di livello 4. La documentazione del portale descrive quattro livelli di dati, con diversi gradi di dettaglio e possibilità di analisi. CERN Open Data

La descrizione di CERN avverte che l’accesso dipende dalle politiche di conservazione e accesso di ciascun esperimento, compresi i periodi di embargo. Pertanto, l’esistenza di un portale non significa che tutti i dati siano disponibili immediatamente o con lo stesso livello di dettaglio. La fonte indica anche che i set di dati e gli altri materiali del portale ricevono identificatori DOI persistenti e ne raccomanda la citazione in caso di riutilizzo. Qui sono menzionati come una caratteristica descritta dal portale; non viene riprodotto alcun identificatore di set di dati.

In termini pratici, i dati accompagnati da software e documentazione offrono elementi per ricostruire o esaminare le analisi, nei limiti consentiti dal livello dei dati e dalle condizioni di accesso. È una condizione che può favorire la riproducibilità computazionale, non una garanzia che due gruppi ottengano risultati identici né che una conclusione sia vera.

Riproducibilità e replicabilità non sono un’unica prova

La pagina delle National Academies presenta, come contesto, la ripetizione di una ricerca che ha prodotto una scoperta come una delle modalità con cui la comunità scientifica ne conferma la validità. Questo approccio introduttivo non va confuso con una conclusione del comitato descritto nella stessa pagina: il progetto indica che le National Academies avrebbero esplorato i problemi di riproducibilità e replicabilità nella ricerca scientifica e ingegneristica. Tra i compiti previsti per il comitato figura l’elaborazione di definizioni che tengano conto della diversità dei campi, oltre all’esame dei fattori legati alla metodologia, alla progettazione sperimentale, agli incentivi, alle responsabilità e alla manipolazione intenzionale. National Academies

Questo approccio contestualizza l’importanza della documentazione: può rendere visibili i dati, le decisioni metodologiche e le analisi che concorrono a un risultato. Ma il materiale delle National Academies qui citato descrive l’ambito e le domande di un progetto; non fornisce definizioni definitive né prove per quantificare la frequenza dei fallimenti di riproduzione o replicazione. Né consente di concludere che le linee guida di NIST o il modello di CERN abbiano dimostrato di migliorare i risultati in tutta la ricerca.

È quindi opportuno distinguere tre domande. La procedura è descritta in modo sufficientemente dettagliato? Riguarda la trasparenza e la documentazione. È possibile analizzare i dati e applicare i metodi? Dipende, tra le altre cose, dall’accesso, dal software e dal livello dei dati disponibili. Un’altra ricerca conferma il risultato? Richiede una valutazione diversa; disporre di file o ripetere i calcoli non equivale automaticamente a una corroborazione indipendente.

Un quadro utile, con limiti ben definiti

Le linee guida di NIST sono stabilite in relazione alla legislazione e alle direttive federali citate dalla stessa istituzione. NIST indica che possono essere riviste periodicamente sulla base dell’esperienza, di requisiti in evoluzione e delle preoccupazioni espresse dal pubblico. Il loro ambito istituzionale deve rimanere chiaro: si tratta di un quadro per la qualità delle informazioni diffuse da NIST, non di una revisione indipendente della letteratura scientifica né di un accertamento recente sullo stato generale della riproducibilità.

Il valore di combinare queste risorse sta nel fatto che illuminano aspetti diversi del problema. NIST distingue i criteri per giudicare le informazioni diffuse; CERN documenta un sistema di accesso a dati, software e materiali con diversi livelli e condizioni; le National Academies inquadrano riproducibilità e replicabilità come questioni metodologiche che attraversano le discipline. Nel loro insieme aiutano a spiegare perché la documentazione sia rilevante, senza trasformare la disponibilità in una prova e senza attribuire a una fonte ciò che un’altra non stabilisce.

Una pratica riproducibile richiede di prestare attenzione alla qualità e al contesto delle informazioni, oltre a conservare gli elementi necessari per comprendere ed esaminare un’analisi. La trasparenza può rendere più praticabile tale esame. La conferma di un risultato, invece, dipende da prove e procedure adeguate alla domanda scientifica; non deriva unicamente dal fatto che i dati siano documentati o accessibili. Questa distinzione è essenziale: la documentazione rende possibile valutare meglio un lavoro, ma non sostituisce la valutazione dei suoi risultati.