A Social Science Prediction Platform foi recentemente analisada para entender o quão bons os pesquisadores são em prever o tamanho dos efeitos dos estudos. Eles não fazem um bom trabalho🧵 Pesquisadores superestimam rotineiramente o tamanho dos seus efeitos!

Quando você compara o que os pesquisadores preveem (b) e o que eles encontram (a), as previsões são simplesmente muito maiores do que as realidades no terreno. E este gráfico abaixo pode exagerar a precisão das previsões, já que a correlação é considerável, mas não inspiradora de confiança, 0,453.

Como qualificação desse resultado, há relativamente menos estimativas erradas para resultados de ECR e relativamente mais para resultados não relacionados a ECR. Mas, curiosamente, o grau absoluto é o mesmo.

Quais fatores modificaram a precisão da previsão? O fator mais poderoso foi a sabedoria das multidões: grupos de pessoas superaram individualmente, de forma decisiva! Além disso, os acadêmicos venceram os não acadêmicos, os profissionistas pagos venceram os não painelistas e a confiança foi ruim de forma não linear!

Pessoas confiantes são, absolutamente, menos precisas em geral. Mas comparando os inseguros com os que estão na mediana, não há diferença. É quando você entra em alta confiança que o padrão aparece.

A razão é que os altamente confiantes preveem tamanhos de efeito maiores, por algum motivo.

Mais interessante ainda, a confiança entre pessoas é o que está correlacionada com menor precisão, mas a confiança entre pessoas está correlacionada com maior precisão. Ou seja, quando você observa as pessoas ao longo do tempo, suas previsões mais confiantes são as melhores!

Muitos outros fatores tiveram papéis pequenos, mas notáveis, na precisão das previsões, e eu definitivamente recomendo que leia o artigo para aprender mais. Mas o que recomendo tirar disso é que, no geral, as pessoas ainda não são muito boas em prever ciência.

De certa forma, isso é algo bom. Se tudo pudesse ser previsto perfeitamente, nem precisaríamos fazer pesquisas em primeiro lugar. Em outra, isso é ruim, em grande parte por causa dos detalhes. Ou seja, pesquisadores são confiantes demais e parecem exagerar nos resultados.

Em outro sentido, isso é algo realmente informativo que apoia pontos que já fiz em outros lugares Por exemplo, um dos argumentos ouvidos em defesa do excesso de valores p na literatura que estão bem na fronteira da significância é que os pesquisadores "previram" que Não é verdade!

O argumento é que os pesquisadores fizeram uma análise de potência — que exige escolher um tamanho de efeito que, espera-se, seja realista — e, portanto, espera-se que seus resultados sejam apenas significativos. Mas não são. Se você tem 80% de potência, a maioria dos seus valores p vem do limite de significância.

Ninguém pode prever onde estará o valor-p sem um conhecimento mais preciso sobre os efeitos do tratamento, variância e assim por diante, e isso é um conhecimento indisponível. Mas as pessoas estão defendendo o impossível, e o fato de os pesquisadores preverem tratamentos mal reforça essa ideia.