Reproductibilité : quelles pratiques et quels matériaux permettent d’examiner une recherche

1. La science ouverte réunit des pratiques, sans garantie automatique

La European Commission présente la science ouverte comme une approche du processus scientifique qui comprend le partage précoce et ouvert des résultats, l’emploi de pratiques transparentes et reproductibles, la collaboration entre disciplines et secteurs, ainsi que la participation de la société. L’institution place cette approche au cœur de la politique européenne de recherche et avance que l’ouverture du système peut favoriser le partage et la collaboration.

Parmi les pratiques citées figurent le prérégistrement, les rapports enregistrés, le dépôt de données dans des dépôts partagés, la diffusion de prépublications et la collaboration avec d’autres producteurs et utilisateurs de connaissances. La Commission envisage également l’accès ouvert aux publications, aux données, aux modèles, aux algorithmes, aux programmes, aux protocoles, aux carnets et aux flux de travail. Ces mesures sont présentées comme des composantes d’un système de recherche ouvert, aux côtés du développement d’incitations, de capacités et d’infrastructures.

La Commission associe la gestion responsable des résultats aux principes FAIR : les produits doivent être faciles à trouver, accessibles, interopérables et réutilisables. Elle inclut également parmi ses objectifs la facilitation de la vérification et de la reproductibilité des résultats de recherche. Cela permet de répondre en partie à la question de ce dont une étude peut avoir besoin pour être examinée : des matériaux accessibles et gérés, ainsi que des pratiques qui rendent visibles les différentes étapes du travail. Mais l’extrait ne définit pas un ensemble universel d’exigences suffisantes et ne démontre pas que l’adoption d’une pratique, à elle seule, garantit qu’une autre équipe obtiendra le même résultat.

2. Les données, les programmes et la documentation délimitent les analyses possibles

La documentation de CERN Open Data offre l’exemple concret d’un dépôt qui préserve les résultats de recherche et les accompagne de programmes et de documentation permettant de comprendre et d’analyser les données. Dans le cas des expériences du LHC, le portail distingue quatre niveaux de données. Cette classification montre que l’expression données disponibles peut recouvrir des matériaux de différents degrés de détail et destinés à des usages différents.

Le niveau 1 ajoute des informations aux résultats publiés, comme des figures et des tableaux. Le niveau 2 comprend des formats simplifiés destinés à la vulgarisation et à la formation à l’analyse. Le niveau 3 inclut des données de collisions reconstruites et des données simulées, accompagnées de programmes d’analyse spécifiques ; le portail indique qu’elles permettent de réaliser des analyses scientifiques complètes à partir de la reconstruction existante. Le niveau 4 couvre les données de base non traitées, accompagnées de programmes de reconstruction et de simulation, et peut permettre de produire de nouveaux signaux simulés ou de reconstruire à nouveau les données. Le portail se concentre sur la publication des données des niveaux 2 et 3 ; les collaborations du LHC peuvent également fournir de petits échantillons de niveau 4.

La distinction entre les niveaux permet de préciser la question éditoriale : pour examiner une analyse, il ne suffit pas de savoir que des données existent ; il importe de savoir quelles données, quels programmes et quelle documentation sont disponibles, ainsi que les opérations qu’ils permettent. Toutefois, la description de CERN est un exemple d’infrastructure et de ses matériaux, et non une évaluation indépendante de la politique de la Commission ni la démonstration qu’une recherche particulière a été reproduite avec succès.

3. La définition de la reproductibilité dépend aussi du domaine

La référence des National Academies apporte un contexte méthodologique. L’extrait décrit le mandat d’un comité chargé d’explorer la reproductibilité et la réplication en science et en ingénierie, d’examiner des définitions tenant compte de la diversité des domaines et d’étudier les facteurs susceptibles d’influer sur ces processus, notamment les incitations, la méthodologie et le plan expérimental. Il prévoit également de déterminer quelles informations peuvent manquer pour établir l’ampleur des problèmes.

La page indique que répéter une recherche est l’un des moyens par lesquels la communauté scientifique examine la validité d’une découverte. Cependant, le matériel fourni présente les objectifs et les questions du travail, et non ses définitions finales ni une estimation générale de la fréquence des résultats non reproductibles ou non répliqués. Ces termes ne doivent donc pas être traités ici comme si le dossier établissait une distinction universelle. La conclusion prudente est plus limitée : les conditions nécessaires pour répéter ou examiner une étude dépendent, entre autres, de la manière dont ces processus sont définis dans le domaine et des matériaux et méthodes mis à disposition.

Dans leur ensemble, les trois références remplissent des fonctions différentes. La European Commission est la source principale pour décrire l’approche institutionnelle de la science ouverte et les pratiques qu’elle encourage. CERN illustre la manière dont un portail concret organise les données et les matériaux d’analyse. Les National Academies apportent un cadre de questions méthodologiques sur la reproductibilité et la réplication. Les deux références contextuelles ne corroborent pas de manière indépendante la politique institutionnelle et ne démontrent pas l’effet de ses mesures.

La documentation permet d’expliquer quels types de pratiques et de ressources peuvent faciliter l’examen d’une recherche par d’autres, mais elle laisse ouvertes des questions importantes : quelle combinaison de matériaux est suffisante dans chaque discipline, comment évaluer la qualité de la documentation et quels effets les pratiques ouvertes ont sur la reproductibilité dans des études précises. Les extraits ne fournissent pas de données comparatives permettant d’y répondre.