Riproducibilità: quali pratiche e materiali consentono di esaminare una ricerca

1. La scienza aperta riunisce pratiche, non costituisce una garanzia automatica

La European Commission presenta la scienza aperta come un approccio al processo scientifico che include la condivisione precoce e aperta dei risultati, l’adozione di pratiche trasparenti e riproducibili, la collaborazione tra discipline e settori e il coinvolgimento della società. L’istituzione colloca questo approccio al centro della politica europea della ricerca e sostiene che aprire il sistema possa favorire la condivisione e la collaborazione.

Tra le pratiche elencate figurano la preregistrazione, i rapporti registrati, il deposito dei dati in archivi condivisi, la diffusione di preprint e la collaborazione con altri produttori e utenti di conoscenza. La Commissione contempla anche l’accesso aperto a pubblicazioni, dati, modelli, algoritmi, programmi, protocolli, quaderni e flussi di lavoro. Queste misure sono presentate come componenti di un sistema di ricerca aperto, insieme allo sviluppo di incentivi, competenze e infrastrutture.

La Commissione associa la gestione responsabile dei risultati ai principi FAIR: i prodotti devono essere reperibili, accessibili, interoperabili e riutilizzabili. Include inoltre tra i suoi obiettivi facilitare la verifica e la riproducibilità dei risultati della ricerca. Ciò consente di rispondere in parte alla domanda su ciò di cui uno studio può aver bisogno per essere esaminato: materiali accessibili e gestiti, oltre a pratiche che rendano visibili le fasi del lavoro. Tuttavia, l’estratto non definisce un insieme universale di requisiti sufficienti né dimostra che adottare una pratica, da sola, garantisca che un altro gruppo ottenga lo stesso risultato.

2. Dati, programmi e documentazione delimitano le analisi possibili

La documentazione di CERN Open Data offre un esempio concreto di archivio che conserva i risultati della ricerca e li accompagna con programmi e documentazione per comprendere e analizzare i dati. Nel caso degli esperimenti dell’LHC, il portale distingue quattro livelli di dati. La classificazione mostra che l’espressione dati disponibili può comprendere materiali con diversi gradi di dettaglio e differenti utilizzi.

Il livello 1 aggiunge informazioni ai risultati pubblicati, come figure e tabelle. Il livello 2 comprende formati semplificati destinati alla divulgazione e alla formazione nell’analisi. Il livello 3 include dati di collisioni ricostruiti e dati simulati, insieme a programmi specifici di analisi; il portale indica che consentono di svolgere analisi scientifiche complete utilizzando la ricostruzione esistente. Il livello 4 comprende dati grezzi di base, accompagnati da programmi di ricostruzione e simulazione, e può consentire di produrre nuovi segnali simulati o di ricostruire nuovamente i dati. Il portale si concentra sulla pubblicazione di dati dei livelli 2 e 3; le collaborazioni dell’LHC possono fornire anche piccoli campioni del livello 4.

La distinzione tra livelli aiuta a precisare la domanda editoriale: per esaminare un’analisi non basta sapere che esistono dati; è importante sapere quali dati, programmi e documentazione sono disponibili e quali operazioni consentono. Tuttavia, la descrizione di CERN è un esempio di infrastruttura e dei suoi materiali, non una valutazione indipendente della politica della Commissione né una dimostrazione che una specifica ricerca sia stata riprodotta con successo.

3. Anche la definizione di riproducibilità dipende dal campo

Il riferimento delle National Academies fornisce un contesto metodologico. L’estratto descrive l’incarico affidato a un comitato di esplorare la riproducibilità e la replicazione nella scienza e nell’ingegneria, considerare definizioni che tengano conto della diversità dei campi ed esaminare fattori che possono incidere su questi processi, tra cui gli incentivi, la metodologia e il disegno sperimentale. Prevede inoltre di individuare quali informazioni possano mancare per determinare l’entità dei problemi.

La pagina indica che ripetere una ricerca è uno dei modi in cui la comunità scientifica esamina la validità di una scoperta. Tuttavia, il materiale fornito presenta gli obiettivi e le domande del lavoro, non le sue definizioni finali né una stima generale della frequenza di risultati non riproducibili o non replicati. Pertanto, in questo caso i termini non vanno trattati come se la documentazione stabilisse una distinzione universale. La conclusione prudente è più circoscritta: le condizioni per ripetere o esaminare uno studio dipendono, tra gli altri aspetti, da cosa si intende per questi processi nel campo e da quali materiali e metodi vengono messi a disposizione.

Nel complesso, i tre riferimenti svolgono funzioni diverse. La European Commission è la fonte principale per descrivere l’approccio istituzionale alla scienza aperta e le pratiche che promuove. CERN illustra come un portale concreto organizza i dati e i materiali di analisi. Le National Academies forniscono il quadro delle questioni metodologiche relative a riproducibilità e replicazione. I due riferimenti di contesto non corroborano in modo indipendente la politica istituzionale né attestano l’effetto delle sue misure.

La documentazione permette di spiegare quali tipi di pratiche e risorse possono facilitare l’esame di una ricerca da parte di altri, ma lascia aperte domande rilevanti: quale combinazione di materiali sia sufficiente in ciascuna disciplina, come si valuti la qualità della documentazione e quali effetti abbiano le pratiche aperte sulla riproducibilità in studi specifici. Gli estratti non forniscono prove comparative per rispondere.