Ciência para compreender o que muda.
RSS
Investigação Artigo

Uma análise com IA conclui que apenas um em cada oito estudos clínicos compartilha código

Uma equipe liderada por pesquisadores do MIT e do Dana-Farber Cancer Institute examinou quase 4.000 estudos de previsão clínica e constatou que compartilhar código não garante que ele esteja documentado para ser reutilizado.

Texto minimalista «Medical Research» com letras coloridas sobre um fundo neutro.Imagem de contexto

As ideias principais

  • A equipe liderada por pesquisadores do MIT e do Dana-Farber Cancer Institute examinou quase 4.000 estudos de modelos de previsão clínica usando modelos de linguagem, ferramentas de software e verificações humanas.
  • Aproximadamente um em cada oito estudos informava que compartilhava código, e a documentação e as condições para reutilizá-lo variavam amplamente.
  • Os achados estão contribuindo para o TRIPOD-Code, um guia em desenvolvimento; a avaliação reconhece possíveis erros de classificação e não apresenta cada contagem como exata.

O que a equipe analisou

Um estudo sobre modelos de previsão clínica examinou como artigos científicos compartilham o código usado em suas análises. A equipe internacional, liderada por pesquisadores do MIT e do Dana-Farber Cancer Institute, analisou quase 4.000 estudos que desenvolveram, atualizaram ou validaram modelos para estimar resultados de pacientes, como o risco de desenvolver uma doença. Os artigos completos estavam disponíveis na coleção de acesso aberto do PubMed Central.

Segundo as informações divulgadas pelo MIT, os pesquisadores recorreram a modelos de linguagem de grande porte para localizar nos artigos declarações sobre a disponibilidade do código e extrair links para os repositórios associados. Em seguida, ferramentas de software recuperaram esses repositórios para avaliá-los. A análise não se limitou a verificar se havia um link: também considerou aspectos como documentação, requisitos de software e condições de reutilização.

O interesse metodológico está no fato de que os dados e o código podem ajudar a examinar o que foi feito em um estudo: por exemplo, como os pacientes foram selecionados, como os valores ausentes foram tratados e como os resultados foram avaliados. As decisões tomadas durante a preparação dos dados, o desenvolvimento dos modelos e a avaliação podem influenciar os resultados; uma seção de métodos, por si só, pode não descrevê-las com todo o detalhe necessário.

Compartilhar nem sempre permite reutilizar

O estudo identificou duas principais deficiências: compartilhar código continuava sendo pouco frequente e, quando ele era disponibilizado publicamente, o material nem sempre incluía a documentação e as informações complementares necessárias para reutilizá-lo. No total, aproximadamente um em cada oito estudos declarava compartilhar código. A qualidade dos repositórios variava: alguns eram organizados e descritos em detalhes, enquanto outros ofereciam pouca orientação para entendê-los ou executá-los.

A revisão também observou diferenças entre revistas e países. Entre as revistas, a proporção de estudos que compartilhavam código variava de zero a mais de 70 por cento. Algumas revistas com taxas baixas tinham políticas escritas sobre compartilhamento de código. O resultado sugere que ter uma política não basta necessariamente para que a prática se generalize; as informações disponíveis, por si só, não estabelecem o que causa as diferenças observadas.

Aspecto avaliado O que a fonte do MIT descreve
Disponibilidade Aproximadamente um em cada oito estudos informava que compartilhava código.
Repositórios Sua organização e documentação variavam amplamente.
Avaliação Foram considerados a documentação, os requisitos de software e as condições de reutilização.
Variação A proporção de estudos com código compartilhado oscilava entre zero e mais de 70 % conforme a revista.
Exemplo de prática útil Algumas equipes forneceram dados sintéticos para facilitar a reutilização quando os registros originais dos pacientes não podiam ser disponibilizados publicamente.

Os dados sintéticos são um exemplo de como oferecer material de apoio sem publicar os registros originais, segundo o MIT. A fonte não detalha aqui quais métodos foram usados para gerá-los nem avalia se todos os conjuntos de dados sintéticos permitem reproduzir os resultados dos estudos correspondentes.

O que a automação oferece e quais são seus limites

As informações sobre código apareciam de maneiras muito distintas em artigos e repositórios, por isso não podiam ser pesquisadas simplesmente em um campo uniforme. Os modelos de linguagem ajudaram a processar esse material não estruturado em grande escala. No entanto, a avaliação incluiu verificações humanas: dois pesquisadores revisaram de forma independente 500 artigos e uma amostra separada de repositórios, resolveram divergências e compararam seus julgamentos com os resultados automatizados.

A concordância foi maior para características concretas — por exemplo, a presença de um arquivo de licença — do que para avaliações sobre a adequação da documentação. Por isso, os autores destacam os padrões gerais e alertam que pode haver erros de classificação; não apresentam cada contagem como exata. A automação permitiu ampliar a análise, mas não eliminou a necessidade de definir critérios nem de interpretar aspectos qualitativos.

Um guia em desenvolvimento

Os resultados estão contribuindo para o desenvolvimento do TRIPOD-Code, um guia que busca esclarecer quais elementos devem ser compartilhados junto com o código analítico. Segundo o MIT, essa iniciativa se baseia no TRIPOD e no TRIPOD+AI, listas de verificação para relatar o desenvolvimento e a avaliação de modelos de previsão clínica. A equipe está elaborando recomendações por meio de um processo de revisão por especialistas; a fonte descreve o guia como um trabalho em desenvolvimento, não como uma norma já finalizada.

A necessidade de orientar essas práticas decorre do fato de que a pesquisa em previsão clínica reúne profissionais de medicina, estatística e informática, cujas expectativas sobre documentação e divulgação podem diferir. O objetivo declarado do TRIPOD-Code é oferecer orientações práticas a pesquisadores e expectativas mais claras para as revistas. O estudo fornece evidências descritivas para essas discussões, mas não demonstra por si só que um futuro guia aumentará a disponibilidade do código ou sua reutilização.

Como referência institucional geral, a National Science Foundation descreve o apoio que oferece à pesquisa e à educação em ciências e engenharia, mas essas informações não confirmam de forma independente os resultados desta análise clínica. NSF: apoio à pesquisa. Seu diretório sobre pesquisa de materiais se refere a programas de ciências físicas e materiais, uma área distinta da análise de código em estudos de previsão clínica, portanto não oferece corroboração específica do achado.

As referências da National Science Foundation oferecem contexto institucional, não uma verificação independente dos resultados da análise.

O que sabemos e quais são seus limites

A análise se limitou a estudos de previsão clínica incluídos na coleção de acesso aberto do PubMed Central e aos artigos e repositórios que puderam ser examinados. A fonte alerta que são possíveis erros de classificação, especialmente em julgamentos qualitativos sobre a adequação da documentação, por isso as contagens devem ser interpretadas como padrões gerais, e não como números exatos. Os resultados descrevem práticas de publicação e não demonstram que as políticas editoriais causem essas práticas nem que o TRIPOD-Code vá modificá-las. As referências da NSF fornecidas servem como contexto institucional e não corroboram este estudo de forma independente.

Fontes originais3

As fontes originais para explorar esta explicação e seus limites.

  1. Estudos e resultados: como a NSF apoia a pesquisa NSF
  2. Como a pesquisa sobre materiais e seus resultados são organizados NSF
    Referência institucional de contexto. Não constitui confirmação independente dos resultados da fonte principal.
  3. A IA ajuda pesquisadores a investigar como milhares de estudos médicos compartilham código MIT
Créditos das imagens

Minimalistic text 'Medical Research' in colorful letters on a neutral background. · Foto de Tara Winstead em Pexels · Fonte original · Pexels License · Redimensionada e reencodificada como JPEG; o enquadramento completo foi preservado.

A Equipa Editorial da SciClue é responsável pela elaboração e publicação deste conteúdo. A IA apoia a recolha de informação, a investigação de fontes e a preparação de rascunhos num processo editorial com verificações de fontes e coerência.
Encontrou algo que devemos corrigir?
Explore todos os conceitos

Passe à prática

Calculadora de consumo Laboratório de ondas Laboratório de probabilidade

Cada descoberta começa com uma pergunta.

Artigos, conceitos, tecnologias e indicadores. Tudo ligado.

Energia Física Conceitos Ferramentas