Cláudio Córdova é Otávio Nóbrega

O avanço científico depende do crivo da comunidade especializada para a apreciação de afirmações assim como para a confirmação de resultados e de inferências diante de repetidos testes. Com esta preocupação, publicação de 2019 no periódico Nature¹ evidenciou que cerca de 90% dos renomados pesquisadores entrevistados concordaram com a hipótese de que existe uma crise de reprodutibilidade e de replicabilidade na ciência contemporânea. Outras publicações se seguiram em revistas de elevado gabarito (Lancet, NEJM) acerca das falhas que contribuem diretamente para esta crise, incluindo os estudos com resultados negativos ou nulos que raramente são publicados, abrindo a oportunidade para um crescente e elevado número de falsos positivos. Embora o desenho não randomizado deste estudo possa não representar acuradamente o contingente mundial de cientistas, os resultados com certeza têm eco nas opiniões expressas em diversas áreas de conhecimento de que existe uma fragilidade generalizada na compreensão dos fundamentos e na utilização das ferramentas estatísticas, o que tem contribuído, em parte, para uma série de inconsistências e de equívocos na interpretação de importantes resultados. Por exemplo, os testes de significância que geram P-valores associados vêm sendo indiscriminadamente usados por pesquisadores das áreas clínicas com a interpretação de que, a probabilidade de significância estatística consiste em sinônimo de relevância clínica ou prática para os achados do estudo. Entretanto, um P-valor pequeno (comumente mencionado em destaque pelos autores) não é garantia de que o efeito produzido pela intervenção seja de relevância clínica. Mesmo um efeito irrelevante pode ser estatisticamente significativo se o experimento apresentar uma amostra suficientemente grande. Ou ainda, um estudo com pequena amostra pode apresentar efeitos com importância, porém insuficientes para alcançar significância estatística. Do mesmo modo, é ingenuidade ignorar resultados que não evidenciaram “associações” ou “diferenças” estatisticamente significativas quando a análise das estimativas do intervalo de confiança inclui efeitos plausíveis de risco. Portanto, estes são alguns cenários que exigem uma avaliação criteriosa e independente de pesquisadores e de profissionais da saúde em conjunto com experts em bioestatística e análises matemáticas, sobretudo em atividades que resultam em tomada de decisão tanto na pesquisa quanto na prática clínica.

Infelizmente, a formação necessária para o aluno de pós-graduação interpretar o significado clínico ou biológico de um estudo é limitada e, quando muito, baseada em disciplinas clássicas de estatística ou de métodos analíticos que aderem à interpretação enviesada dos testes de significância e P-valores. Perdemos o foco no que realmente importa para qualquer investigação de natureza quantitativa, ou seja, a discussão do impacto que as medidas de efeito representam para o contexto investigado. Ou ainda, na correta interpretação para as incertezas destas estimativas, ao invés de respostas dicotômicas (P < 0,05 ou P ≥ 0,05), o que geram falsas expectativas e excessos de confiança e interpretações, não sendo raro que um mesmo estudo apresente achados estatísticos contraditórios para um mesmo fenômeno investigado diante de um olhar mais criterioso. Diante da recente “crise de fé” da sociedade com a ciência, as práticas em pesquisa precisam se aprimorar em termos de métodos analíticos para que achados espúrios, fortuitos, irreprodutíveis ou desimportantes não acentuem a crise de confiabilidade na ciência.

________________________________________________________________________________________________

1. Amrhein V, Greenland S, McShane B. Scientists rise up against statistical significance. Nature. 2019;567(7748):305-7.