Les clés
- Le NIST organise la qualité des informations qu’il diffuse autour de l’utilité, de l’objectivité et de l’intégrité, et associe les résultats scientifiques à des méthodes de recherche et à des méthodes statistiques rigoureuses.
- CERN Open Data associe des données préservées à des logiciels et à de la documentation ; le niveau des données et les politiques d’accès déterminent les analyses qui peuvent être réalisées.
- La documentation facilite l’examen des méthodes et des analyses, mais l’accessibilité ou la répétition des calculs ne constitue pas, à elle seule, une confirmation indépendante d’un résultat.
La reproductibilité dépend, entre autres, de la possibilité pour d’autres personnes d’examiner comment des résultats ont été obtenus et analysés. Mais partager des données ou décrire une méthode ne suffit pas, à lui seul, à démontrer qu’une conclusion est correcte. La documentation apporte de la transparence et peut permettre de répéter des analyses ; évaluer la qualité de l’information exige également de prendre en compte son fondement, sa présentation et l’usage auquel elle est destinée.
Le NIST propose un cadre institutionnel pour réfléchir à la qualité des informations qu’il diffuse. Ses directives ne constituent ni un rapport sur la reproductibilité des études scientifiques ni une évaluation indépendante de résultats précis. Lues conjointement avec l’approche des National Academies concernant la reproductibilité et la réplication, ainsi qu’avec l’exemple documentaire de CERN Open Data, elles permettent de distinguer les critères de qualité, la possibilité d’analyse et la confirmation des résultats.
La qualité de l’information : trois dimensions liées
Le NIST définit la qualité comme un terme englobant l’utilité, l’objectivité et l’intégrité. L’utilité consiste à se demander si l’information sert ses destinataires, y compris le public. L’objectivité comporte deux éléments : l’information doit être présentée avec exactitude, clarté, exhaustivité, impartialité et dans le contexte approprié ; son contenu doit être exact, fiable et dépourvu de biais. Dans les contextes scientifiques, statistiques ou financiers, le NIST précise que les données originales et justificatives doivent être générées, et les résultats analytiques élaborés, au moyen de méthodes de recherche et de méthodes statistiques rigoureuses. L’intégrité consiste à protéger l’information contre les accès ou les modifications non autorisés, ainsi que contre la corruption ou la falsification. NIST
Ces dimensions se complètent, mais ne sont pas interchangeables. Une explication claire ne garantit pas à elle seule que l’analyse repose sur des bases solides ; la disponibilité de données ne garantit pas qu’elles soient utiles pour répondre à toutes les questions ; et la protection d’un fichier n’établit pas la validité des conclusions qui en sont tirées. Selon ses directives, le cadre du NIST porte sur la qualité des informations diffusées par l’institution, et non sur une épreuve universelle certifiant chaque résultat scientifique.
La transparence importe lorsqu’elle est pertinente pour évaluer l’utilité de l’information du point de vue du public, indique le NIST. Dans la recherche, rendre accessibles les données justificatives, les procédures et les outils peut permettre à d’autres personnes de comprendre le travail et d’examiner ses analyses. Cependant, la possibilité d’inspecter un résultat est différente du fait de l’avoir confirmé de manière indépendante.
Ce que les données et la documentation peuvent apporter
Le portail CERN Open Data fournit un exemple concret du lien entre les données préservées et les ressources nécessaires à leur analyse. D’après sa description, le portail donne accès aux données produites par les activités de recherche du CERN et comprend les logiciels et la documentation nécessaires pour les comprendre et les analyser. La ressource porte sur les données d’événements des niveaux 2 et 3 ; les collaborations du LHC peuvent également fournir de petits échantillons de niveau 4. La documentation du portail décrit quatre niveaux de données, assortis de degrés de détail et de possibilités d’analyse différents. CERN Open Data
| Niveau de données décrit par le CERN | Contenu et possibilité indiqués dans la source |
|---|---|
| 1 | Informations supplémentaires sur les résultats publiés, comme des figures et des tableaux. |
| 2 | Formats simplifiés destinés à la vulgarisation et à la formation à l’analyse, comme des données d’événements de base au format des quadrivecteurs. |
| 3 | Données de collisions reconstruites et simulées, accompagnées de logiciels d’analyse spécifiques, pour réaliser des analyses scientifiques complètes à partir de la reconstruction existante. |
| 4 | Données brutes de base, lorsqu’elles ne sont pas déjà couvertes par le niveau 3, avec des logiciels de reconstruction et de simulation ; elles peuvent permettre de produire de nouveaux signaux simulés ou de reconstruire à nouveau des données. |
La description du CERN précise que l’accès dépend des politiques de préservation et d’accès de chaque expérience, y compris des périodes d’embargo. L’existence d’un portail ne signifie donc pas que toutes les données sont disponibles immédiatement ou avec le même niveau de détail. La source indique également que les ensembles de données et autres ressources du portail reçoivent des identifiants DOI persistants et recommande de les citer lors de leur réutilisation. Ces éléments sont mentionnés ici comme des caractéristiques décrites par le portail ; aucun identifiant d’ensemble de données n’est reproduit.
En pratique, les données accompagnées de logiciels et de documentation fournissent des éléments permettant de reconstruire ou d’examiner des analyses, dans les limites du niveau de données et des conditions d’accès. Cela peut favoriser la reproductibilité computationnelle, mais ne garantit ni que deux équipes obtiennent des résultats identiques ni qu’une conclusion soit vraie.
La reproductibilité et la réplication ne constituent pas une seule et même épreuve
La page des National Academies présente, à titre de contexte, la répétition d’une recherche ayant abouti à une découverte comme l’une des voies par lesquelles la communauté scientifique en confirme la validité. Il ne faut pas confondre cette présentation introductive avec une conclusion du comité décrit sur la même page : le projet indique que les National Academies étudieraient les problèmes de reproductibilité et de réplication dans la recherche scientifique et en ingénierie. Parmi les tâches prévues pour le comité figure l’élaboration de définitions tenant compte de la diversité des domaines, ainsi que l’examen de facteurs liés à la méthodologie, au plan expérimental, aux incitations, aux responsabilités et à la manipulation intentionnelle. National Academies
Cette mise en contexte explique pourquoi la documentation est importante : elle peut rendre visibles les données, les décisions méthodologiques et les analyses qui interviennent dans un résultat. Toutefois, le document des National Academies cité ici décrit la portée et les questions d’un projet ; il ne fournit ni définitions finales ni éléments permettant de quantifier la fréquence des échecs de reproduction ou de réplication. Il ne permet pas non plus de conclure que les directives du NIST ou le modèle du CERN ont démontré une amélioration des résultats dans l’ensemble de la recherche.
Il convient donc de distinguer trois questions. La procédure est-elle décrite de manière suffisamment détaillée ? Cela concerne la transparence et la documentation. Les données peuvent-elles être analysées et les méthodes exécutées ? Cela dépend, entre autres, de l’accès, des logiciels et du niveau de données disponible. Une autre recherche confirme-t-elle le résultat ? Cela exige une évaluation différente ; disposer de fichiers ou répéter des calculs n’équivaut pas automatiquement à une corroboration indépendante.
Un cadre utile, aux limites clairement définies
Les directives du NIST sont établies en lien avec la législation et les lignes directrices fédérales citées par l’institution elle-même. Le NIST indique qu’elles peuvent être révisées périodiquement en fonction de l’expérience, de l’évolution des exigences et des préoccupations exprimées par le public. La portée institutionnelle doit rester claire : il s’agit d’un cadre relatif à la qualité des informations diffusées par le NIST, et non d’un examen indépendant de la littérature scientifique ni d’un constat récent sur l’état général de la reproductibilité.
L’intérêt de combiner ces ressources tient au fait qu’elles éclairent différentes facettes du problème. Le NIST distingue des critères permettant d’évaluer les informations diffusées ; le CERN documente un système d’accès aux données, aux logiciels et aux ressources, avec différents niveaux et conditions ; les National Academies présentent la reproductibilité et la réplication comme des questions méthodologiques transversales aux disciplines. Ensemble, ces ressources aident à expliquer l’importance de la documentation, sans transformer la disponibilité en preuve et sans attribuer à une source ce qu’une autre n’établit pas.
Une pratique reproductible exige de tenir compte de la qualité et du contexte de l’information, tout en conservant les éléments nécessaires pour comprendre et examiner une analyse. La transparence peut faciliter cet examen. La confirmation d’un résultat, en revanche, dépend de preuves et de procédures adaptées à la question scientifique ; elle ne découle pas uniquement du fait que les données soient documentées ou accessibles. Cette distinction est essentielle : la documentation permet de mieux évaluer un travail, mais ne remplace pas l’évaluation de ses résultats.
Ce que nous savons et ses limites
La principale source du NIST décrit ses directives institutionnelles relatives à la qualité des informations qu’il diffuse ; elle n’évalue pas empiriquement la reproductibilité des études et ne certifie pas les résultats. Les références aux National Academies et au CERN apportent respectivement un contexte méthodologique et un exemple de données et de documentation, mais les documents cités ne permettent ni de quantifier la reproductibilité dans les sciences ni de démontrer que ces pratiques améliorent universellement la validité des résultats. La disponibilité des données dépend de leur niveau et des politiques d’accès des expériences.
Suivez les preuves
Les sources originales pour explorer cette explication et ses limites.
- Reproductibilité et réplication en science, 2019 National Academies of Sciences, Engineering, and Medicine
- CERN Open Data : données, logiciels et documentation CERN Open Data Portal
- Reproductibilité et qualité de l’information : documentation des données et des méthodes NIST
Crédits image
Pesquisa reprodutível - Replicação e reprodução · Pablo J. Madril · Wikimedia Commons · CC BY-SA 4.0 · Source originale · CC BY-SA 4.0 · Redimensionnée et réencodée au format JPEG ; le cadrage complet est conservé.