Les clés
- L’équipe dirigée par des chercheurs du MIT et du Dana-Farber Cancer Institute a examiné près de 4.000 études sur les modèles de prédiction clinique à l’aide de modèles de langage, d’outils logiciels et de vérifications humaines.
- Environ une étude sur huit indiquait partager son code, et la documentation ainsi que les conditions de réutilisation variaient considérablement.
- Les résultats alimentent TRIPOD-Code, un guide en cours d’élaboration ; l’évaluation reconnaît la possibilité d’erreurs de classification et ne présente pas chaque décompte comme exact.
Ce que l’équipe a examiné
Une étude sur les modèles de prédiction clinique a examiné la manière dont les articles scientifiques partagent le code utilisé dans leurs analyses. L’équipe internationale, dirigée par des chercheurs du MIT et du Dana-Farber Cancer Institute, a analysé près de 4.000 études ayant élaboré, mis à jour ou validé des modèles permettant d’estimer des résultats pour les patients, comme le risque de développer une maladie. Les articles complets étaient disponibles dans la collection en libre accès de PubMed Central.
Selon les informations diffusées par le MIT, les chercheurs ont eu recours à des grands modèles de langage pour repérer dans les articles les déclarations concernant la disponibilité du code et extraire les liens vers les dépôts associés. Des outils logiciels ont ensuite récupéré ces dépôts afin de les évaluer. L’analyse ne s’est pas limitée à vérifier l’existence d’un lien : elle a aussi pris en compte des aspects tels que la documentation, les exigences logicielles et les conditions de réutilisation.
L’intérêt méthodologique tient au fait que les données et le code peuvent aider à examiner ce qui a été fait dans une étude : par exemple, comment les patients ont été sélectionnés, comment les valeurs manquantes ont été traitées et comment les résultats ont été évalués. Les décisions prises lors de la préparation des données, de l’élaboration des modèles et de leur évaluation peuvent influer sur les résultats ; une section consacrée aux méthodes, à elle seule, peut ne pas les décrire avec tout le niveau de détail nécessaire.
Partager ne permet pas toujours de réutiliser
L’étude a relevé deux principales lacunes : le partage du code demeurait peu fréquent et, lorsqu’il était rendu public, le matériel ne comportait pas toujours la documentation et les informations complémentaires nécessaires à sa réutilisation. Dans l’ensemble, environ une étude sur huit déclarait partager son code. La qualité des dépôts variait : certains étaient organisés et décrits en détail, tandis que d’autres offraient peu d’indications pour les comprendre ou les exécuter.
L’examen a également observé des différences entre les revues et les pays. Selon les revues, la proportion d’études partageant leur code allait de zéro à plus de 70 pour cent. Certaines revues affichant de faibles taux avaient des politiques écrites sur le partage du code. Ce résultat suggère qu’une politique en place ne suffit pas nécessairement à généraliser cette pratique ; les informations disponibles ne permettent pas, à elles seules, d’établir les causes des différences observées.
| Aspect évalué | Description de la source du MIT |
|---|---|
| Disponibilité | Environ une étude sur huit indiquait que son code était partagé. |
| Dépôts | Leur organisation et leur documentation variaient considérablement. |
| Évaluation | La documentation, les exigences logicielles et les conditions de réutilisation ont été prises en compte. |
| Variations | Selon la revue, la proportion d’études partageant leur code allait de zéro à plus de 70 %. |
| Exemple de pratique utile | Certaines équipes ont fourni des données synthétiques pour faciliter la réutilisation lorsque les dossiers originaux des patients ne pouvaient pas être rendus publics. |
Les données synthétiques illustrent une façon de fournir des ressources complémentaires sans publier les dossiers originaux, selon le MIT. La source ne précise pas ici quelles méthodes ont été utilisées pour les générer et n’évalue pas si tous les jeux de données synthétiques permettent de reproduire les résultats des études correspondantes.
Apports de l’automatisation et limites
Les informations sur le code apparaissaient de façons très diverses dans les articles et les dépôts ; il n’était donc pas possible de les rechercher simplement dans un champ uniforme. Les modèles de langage ont aidé à traiter à grande échelle ce contenu non structuré. L’évaluation a toutefois comporté des vérifications humaines : deux chercheurs ont examiné indépendamment 500 articles et un échantillon distinct de dépôts, résolu les désaccords et comparé leurs évaluations aux résultats automatisés.
La concordance était plus élevée pour les caractéristiques concrètes — par exemple, la présence d’un fichier de licence — que pour les appréciations visant à déterminer si la documentation était adéquate. Les auteurs mettent donc en avant les tendances générales et signalent que des erreurs de classification sont possibles ; ils ne présentent pas chaque décompte comme exact. L’automatisation a permis d’élargir l’analyse, mais n’a pas supprimé la nécessité de définir des critères ni d’interpréter les aspects qualitatifs.
Un guide en cours d’élaboration
Les résultats alimentent l’élaboration de TRIPOD-Code, un guide visant à préciser les éléments qui devraient être partagés avec le code analytique. Selon le MIT, cette initiative s’appuie sur TRIPOD et TRIPOD+AI, des listes de contrôle destinées à rendre compte de l’élaboration et de l’évaluation des modèles de prédiction clinique. L’équipe élabore des recommandations dans le cadre d’un processus d’examen par des experts ; la source présente le guide comme un travail en cours, et non comme une norme déjà finalisée.
La nécessité d’orienter ces pratiques s’explique par le fait que la recherche en prédiction clinique rassemble des spécialistes de la médecine, des statistiques et de l’informatique, dont les attentes en matière de documentation et de diffusion peuvent différer. L’objectif déclaré de TRIPOD-Code est de fournir des directives pratiques aux chercheurs et des attentes plus claires aux revues. L’étude apporte des éléments descriptifs à ces discussions, mais ne démontre pas, à elle seule, qu’un futur guide augmentera la disponibilité du code ou sa réutilisation.
À titre de référence institutionnelle générale, la National Science Foundation décrit le soutien qu’elle apporte à la recherche et à l’enseignement dans les domaines des sciences et de l’ingénierie, mais ces informations ne confirment pas indépendamment les résultats de cette analyse clinique. NSF : soutien à la recherche. Son répertoire consacré à la recherche sur les matériaux porte sur les programmes de sciences physiques et des matériaux, un domaine distinct de l’analyse du code dans les études de prédiction clinique ; il n’apporte donc pas de corroboration spécifique de cette conclusion.
Les références de la National Science Foundation apportent un contexte institutionnel, et non une vérification indépendante des résultats de l’analyse.
Ce que nous savons et ses limites
L’analyse s’est limitée aux études de prédiction clinique incluses dans la collection en libre accès de PubMed Central, ainsi qu’aux articles et dépôts qui ont pu être examinés. La source précise que des erreurs de classification sont possibles, notamment dans les appréciations qualitatives de la qualité de la documentation ; les décomptes doivent donc être interprétés comme des tendances générales et non comme des chiffres exacts. Les résultats décrivent des pratiques de publication et ne démontrent pas que les politiques éditoriales causent ces pratiques ni que TRIPOD-Code les modifiera. Les références de la NSF fournies apportent un contexte institutionnel et ne corroborent pas indépendamment cette étude.
Sources originales3
Les sources originales pour explorer cette explication et ses limites.
- Études et résultats : comment la NSF soutient la recherche NSF
-
Comment la recherche sur les matériaux s’organise et quels sont ses résultats
NSF
Référence institutionnelle de contexte. Ne constitue pas une confirmation indépendante des résultats de la source principale. - L’IA aide les chercheurs à étudier comment des milliers d’études médicales partagent du code MIT
Crédits image
Minimalistic text 'Medical Research' in colorful letters on a neutral background. · Photo de Tara Winstead sur Pexels · Source originale · Pexels License · Redimensionnée et réencodée au format JPEG ; le cadrage complet est conservé.