As ideias principais
- O NIST organiza a qualidade da informação que divulga em torno da utilidade, da objetividade e da integridade, e relaciona os resultados científicos a métodos de pesquisa e estatísticos sólidos.
- O CERN Open Data combina dados preservados com software e documentação; o nível dos dados e as políticas de acesso condicionam quais análises podem ser realizadas.
- A documentação facilita o exame de métodos e análises, mas a acessibilidade ou a repetição de cálculos não constitui, por si só, uma confirmação independente de um resultado.
A reprodutibilidade depende, entre outras coisas, de outras pessoas poderem examinar como os resultados foram obtidos e analisados. Mas compartilhar dados ou descrever um método não basta, por si só, para demonstrar que uma conclusão está correta. A documentação proporciona transparência e pode possibilitar a repetição de análises; avaliar a qualidade da informação também exige considerar sua fundamentação, sua apresentação e o uso a que se destina.
O NIST oferece um marco institucional para pensar sobre a qualidade da informação que divulga. Suas diretrizes não são um relatório sobre a reprodutibilidade de estudos científicos nem uma avaliação independente de descobertas específicas. Lidas em conjunto com a abordagem das National Academies sobre reprodutibilidade e replicabilidade e com o exemplo documental do CERN Open Data, permitem distinguir critérios de qualidade, possibilidade de análise e confirmação de resultados.
Qualidade da informação: três dimensões relacionadas
O NIST define qualidade como um termo que abrange utilidade, objetividade e integridade. A utilidade pergunta se a informação serve a seus destinatários, incluindo o público. A objetividade tem dois componentes: que a informação seja apresentada de forma exata, clara, completa, imparcial e no contexto adequado, e que seu conteúdo seja exato, confiável e sem viés. Em contextos científicos, estatísticos ou financeiros, o NIST observa que os dados originais e de apoio devem ser gerados, e os resultados analíticos desenvolvidos, por meio de métodos de pesquisa e estatísticos sólidos. A integridade refere-se a proteger a informação contra acessos ou modificações não autorizados, bem como contra corrupção ou falsificação. NIST
Essas dimensões se complementam, mas não são intercambiáveis. Uma explicação clara não garante, por si só, que a análise esteja bem fundamentada; dados disponíveis não garantem que sejam úteis para qualquer pergunta; e a proteção de um arquivo não estabelece a validade das conclusões extraídas dele. O marco do NIST trata da qualidade da informação que a instituição divulga, segundo suas diretrizes, e não de um teste universal que certifique cada resultado científico.
A transparência importa quando é pertinente para avaliar a utilidade da informação do ponto de vista público, indica o NIST. Na pesquisa, tornar acessíveis os dados de apoio, os procedimentos e as ferramentas pode permitir que outras pessoas compreendam o trabalho e examinem suas análises. No entanto, a possibilidade de inspecionar um resultado é diferente de tê-lo confirmado de maneira independente.
O que os dados e a documentação podem oferecer
O portal CERN Open Data oferece um exemplo concreto de como dados preservados se vinculam aos recursos necessários para analisá-los. Segundo sua descrição, o portal proporciona acesso a dados produzidos por atividades de pesquisa no CERN e inclui o software e a documentação necessários para compreendê-los e analisá-los. O recurso se concentra em dados de eventos dos níveis 2 e 3; as colaborações do LHC também podem fornecer pequenas amostras de nível 4. A documentação do portal descreve quatro níveis de dados, com diferentes graus de detalhe e possibilidades de análise. CERN Open Data
| Nível de dados descrito pelo CERN | Conteúdo e possibilidade indicados na fonte |
|---|---|
| 1 | Informações adicionais sobre resultados publicados, como figuras e tabelas. |
| 2 | Formatos simplificados para divulgação e formação em análise, como dados básicos de eventos em formato de quatro vetores. |
| 3 | Dados de colisões reconstruídos e simulados, juntamente com software específico de análise, para realizar análises científicas completas com a reconstrução existente. |
| 4 | Dados básicos sem processamento, quando ainda não estiverem abrangidos pelo nível 3, com software de reconstrução e simulação; podem permitir produzir novos sinais simulados ou reconstruir dados novamente. |
A descrição do CERN adverte que o acesso depende das políticas de preservação e acesso de cada experimento, incluindo os períodos de embargo. Portanto, a existência de um portal não significa que todos os dados estejam disponíveis imediatamente ou com o mesmo nível de detalhe. A fonte também indica que os conjuntos de dados e outros materiais do portal recebem identificadores DOI persistentes e recomenda citá-los quando forem reutilizados. Eles são mencionados aqui como uma característica descrita pelo portal; nenhum identificador de conjunto de dados é reproduzido.
Em termos práticos, os dados acompanhados de software e documentação oferecem elementos para reconstruir ou examinar análises, dentro dos limites permitidos pelo nível dos dados e pelas condições de acesso. Essa é uma condição que pode favorecer a reprodutibilidade computacional, não uma garantia de que duas equipes obterão resultados idênticos nem de que uma conclusão seja verdadeira.
Reprodutibilidade e replicabilidade não são um único teste
A página das National Academies apresenta, como contexto, a repetição de uma pesquisa que produziu uma descoberta como uma das formas pelas quais a comunidade científica confirma sua validade. Essa abordagem introdutória não deve ser confundida com uma conclusão do comitê descrito na mesma página: o projeto indica que as National Academies explorariam os problemas de reprodutibilidade e replicabilidade na pesquisa científica e de engenharia. Entre as tarefas previstas para o comitê está elaborar definições que levem em conta a diversidade dos campos, além de examinar fatores relacionados à metodologia, ao desenho experimental, aos incentivos, às responsabilidades e à manipulação intencional. National Academies
Essa abordagem contextualiza por que a documentação importa: ela pode tornar visíveis os dados, as decisões metodológicas e as análises envolvidos em um resultado. Mas o material das National Academies citado aqui descreve o escopo e as perguntas de um projeto; não apresenta definições finais nem evidências para quantificar a frequência de falhas de reprodução ou replicação. Tampouco permite concluir que as diretrizes do NIST ou o modelo do CERN tenham demonstrado melhorar os resultados em toda a pesquisa.
Convém, então, separar três perguntas. O procedimento está descrito de forma suficiente? Isso diz respeito à transparência e à documentação. É possível analisar os dados e executar os métodos? Isso depende, entre outras coisas, do acesso, do software e do nível dos dados disponível. Outra pesquisa confirma o resultado? Isso requer uma avaliação diferente; dispor de arquivos ou repetir cálculos não equivale automaticamente a uma corroboração independente.
Um marco útil, com limites definidos
As diretrizes do NIST são estabelecidas em relação à legislação e às orientações federais citadas pela própria instituição. O NIST indica que elas podem ser revisadas periodicamente com base na experiência, em requisitos em mudança e em preocupações expressas pelo público. Seu escopo institucional deve permanecer claro: trata-se de um marco para a qualidade da informação divulgada pelo NIST, não de uma revisão independente da literatura científica nem de uma constatação recente sobre o estado geral da reprodutibilidade.
O valor de combinar esses recursos está em iluminarem diferentes partes do problema. O NIST distingue critérios para avaliar a informação divulgada; o CERN documenta um sistema de acesso a dados, software e materiais com diferentes níveis e condições; as National Academies situam a reprodutibilidade e a replicabilidade como questões metodológicas que atravessam disciplinas. Em conjunto, ajudam a explicar por que a documentação é relevante, sem transformar disponibilidade em prova e sem atribuir a uma fonte o que outra não estabelece.
Uma prática reprodutível exige atenção à qualidade e ao contexto da informação, além de preservar os elementos necessários para compreender e examinar uma análise. A transparência pode tornar esse escrutínio mais viável. A confirmação de um resultado, por outro lado, depende de evidências e procedimentos adequados à pergunta científica; não decorre apenas do fato de os dados estarem documentados ou acessíveis. Essa distinção é essencial: a documentação possibilita avaliar melhor um trabalho, mas não substitui a avaliação de seus resultados.
O que sabemos e quais são seus limites
A fonte principal do NIST descreve suas diretrizes institucionais para a qualidade da informação que divulga; não avalia empiricamente a reprodutibilidade de estudos nem certifica descobertas. As referências das National Academies e do CERN fornecem contexto metodológico e um exemplo de dados e documentação, respectivamente, mas o material citado não permite quantificar a reprodutibilidade na ciência nem demonstrar que essas práticas melhorem universalmente a validade dos resultados. A disponibilidade de dados depende do nível dos dados e das políticas de acesso dos experimentos.
Segue a evidência
As fontes originais para explorar esta explicação e seus limites.
- Reprodutibilidade e replicabilidade na ciência, 2019 National Academies of Sciences, Engineering, and Medicine
- CERN Open Data: dados, programas e documentação CERN Open Data Portal
- Reprodutibilidade e qualidade da informação: documentação de dados e métodos NIST
Créditos das imagens
Pesquisa reprodutível - Replicação e reprodução · Pablo J. Madril · Wikimedia Commons · CC BY-SA 4.0 · Fonte original · CC BY-SA 4.0 · Redimensionada e reencodificada como JPEG; o enquadramento completo foi preservado.