Reprodutibilidade: que práticas e materiais permitem examinar uma investigação

1. A ciência aberta reúne práticas, não uma garantia automática

A European Commission apresenta a ciência aberta como uma abordagem do processo científico que inclui compartilhar resultados de forma precoce e aberta, empregar práticas transparentes e reproduzíveis, colaborar entre disciplinas e setores e envolver a sociedade. A instituição situa essa abordagem no centro da política europeia de pesquisa e propõe que abrir o sistema pode favorecer o intercâmbio e a colaboração.

Entre as práticas enumeradas estão o pré-registro, os relatórios registrados, o depósito de dados em repositórios compartilhados, a divulgação de preprints e a colaboração com outros produtores e usuários de conhecimento. A Comissão também contempla o acesso aberto a publicações, dados, modelos, algoritmos, programas, protocolos, cadernos e fluxos de trabalho. Essas medidas são apresentadas como componentes de um sistema de pesquisa aberto, junto com o desenvolvimento de incentivos, capacidades e infraestruturas.

A Comissão vincula a gestão responsável dos resultados aos princípios FAIR: que os produtos sejam localizáveis, acessíveis, interoperáveis e reutilizáveis. Também inclui entre seus objetivos facilitar a verificação e a reprodutibilidade dos resultados de pesquisa. Isso permite responder parcialmente à pergunta sobre o que um estudo pode precisar para ser examinado: materiais acessíveis e gerenciados, além de práticas que tornem visíveis as etapas do trabalho. Mas o trecho não define um conjunto universal de requisitos suficientes nem demonstra que adotar uma prática, por si só, garanta que outra equipe obtenha o mesmo resultado.

2. Os dados, os programas e a documentação delimitam as análises possíveis

A documentação do CERN Open Data oferece um exemplo concreto de repositório que preserva resultados de pesquisa e os acompanha de programas e documentação para compreender e analisar os dados. No caso dos experimentos do LHC, o portal distingue quatro níveis de dados. A classificação mostra que a expressão dados disponíveis pode abranger materiais com diferentes graus de detalhe e usos distintos.

O nível 1 acrescenta informações aos resultados publicados, como figuras e tabelas. O nível 2 compreende formatos simplificados destinados à divulgação e à formação em análise. O nível 3 inclui dados de colisões reconstruídos e dados simulados, junto com programas específicos de análise; o portal indica que eles permitem realizar análises científicas completas utilizando a reconstrução existente. O nível 4 abrange dados básicos sem processamento, acompanhados de programas de reconstrução e simulação, e pode permitir produzir novos sinais simulados ou reconstruir dados novamente. O portal concentra-se na publicação de dados dos níveis 2 e 3; as colaborações do LHC também podem fornecer pequenas amostras do nível 4.

A diferença entre níveis ajuda a precisar a questão editorial: para examinar uma análise, não basta saber que existem dados; importa saber quais dados, programas e documentação estão disponíveis e quais operações permitem. Ainda assim, a descrição do CERN é um exemplo de infraestrutura e de seus materiais, não uma avaliação independente da política da Comissão nem uma demonstração de que uma investigação específica tenha sido reproduzida com sucesso.

3. A definição de reprodutibilidade também depende da área

A referência das National Academies oferece contexto metodológico. O trecho descreve a incumbência de um comitê de explorar a reprodutibilidade e a replicação na ciência e na engenharia, considerar definições que levem em conta a diversidade de áreas e examinar fatores que podem afetar esses processos, entre eles os incentivos, a metodologia e o desenho experimental. Também propõe identificar quais informações podem estar faltando para determinar a extensão dos problemas.

A página indica que repetir uma investigação é uma das formas pelas quais a comunidade científica examina a validade de uma descoberta. No entanto, o material fornecido apresenta objetivos e questões do trabalho, não suas definições finais nem uma estimativa geral da frequência de resultados não reproduzíveis ou não replicados. Portanto, esses termos não devem ser tratados aqui como se o expediente estabelecesse uma distinção universal. A conclusão prudente é mais limitada: as condições para repetir ou examinar um estudo dependem, entre outros aspectos, do que se entende por esses processos na área e de quais materiais e métodos são disponibilizados.

Em conjunto, as três referências cumprem funções diferentes. A European Commission é a fonte principal para descrever a abordagem institucional de ciência aberta e as práticas que promove. O CERN ilustra como um portal concreto organiza dados e materiais de análise. As National Academies oferecem o marco de questões metodológicas sobre reprodutibilidade e replicação. As duas referências contextuais não corroboram de forma independente a política institucional nem atestam o efeito de suas medidas.

A documentação permite explicar que tipos de práticas e recursos podem facilitar que outras pessoas examinem uma investigação, mas deixa em aberto questões relevantes: que combinação de materiais é suficiente em cada disciplina, como a qualidade da documentação é avaliada e que efeitos as práticas abertas têm sobre a reprodutibilidade em estudos concretos. Os trechos não fornecem evidências comparativas para responder a essas perguntas.