A Plataforma de Previsão em Ciências Sociais foi recentemente analisada para entender quão bons os pesquisadores são em prever os tamanhos dos efeitos dos estudos. Eles não fazem um bom trabalho nisso🧵 Os pesquisadores costumam superestimar quão grandes serão os seus efeitos!

Quando você compara o que os pesquisadores preveem (b) e o que eles encontram (a), as previsões são simplesmente muito maiores do que as realidades no terreno. E este gráfico abaixo pode exagerar a precisão das previsões, uma vez que a correlação é considerável, mas não inspiradora de confiança, 0.453.

Como uma qualificação desse resultado, há relativamente menos subestimação para os resultados de RCT e relativamente mais para os resultados não-RCT. Mas, curiosamente, o grau absoluto é o mesmo.

Quais fatores modificaram a precisão das previsões? O fator mais poderoso foi a sabedoria das multidões: grupos de pessoas superaram indivíduos, de forma decisiva! Além disso, acadêmicos superaram não-acadêmicos, painelistas pagos superaram não-painelistas e a confiança foi não linearmente ruim!

Pessoas confiantes são, absolutamente, menos precisas em geral. Mas comparando os não confiantes com aqueles na mediana, não há diferença. É quando você chega a um alto nível de confiança que o padrão aparece.

A razão é que as previsões altamente confiantes indicam tamanhos de efeito maiores, por algum motivo.

Mais interessante é que a confiança entre pessoas está correlacionada com uma menor precisão, mas a confiança dentro das pessoas está correlacionada com uma maior precisão. Ou seja, quando você observa as pessoas ao longo do tempo, suas previsões mais confiantes são as melhores!

Muitos outros fatores desempenharam papéis pequenos, mas notáveis, na precisão das previsões, e eu definitivamente recomendo que você leia o artigo para saber mais. Mas o que eu recomendo que você tire disso é que, no geral, as pessoas ainda não são muito boas em prever a ciência.

De certa forma, isso é uma coisa boa. Se tudo pudesse ser perfeitamente previsto, não precisaríamos fazer pesquisa em primeiro lugar. Por outro lado, é uma coisa má, em grande parte por causa das especificidades. Ou seja, os pesquisadores estão excessivamente confiantes e parecem exagerar os resultados.

De outra forma, isso é uma coisa realmente informativa que apoia pontos que fiz em outros lugares Por exemplo, um dos argumentos ouvidos em defesa de um número excessivo de valores p na literatura que estão bem na borda da significância é que os pesquisadores "previram" que Não é verdade!

O argumento é que os pesquisadores realizaram uma análise de poder—que requer escolher um tamanho de efeito que se espera ser realista—e, portanto, seus resultados são esperados para ser apenas significativos. Mas não são. Se você tem 80% de poder, a maioria dos seus valores p está no limiar de significância.

Ninguém pode prever onde estará o valor p sem um conhecimento mais preciso sobre os efeitos do tratamento, variância, e assim por diante, e esse conhecimento não está disponível. Mas as pessoas estão defendendo o impossível, e o fato de que os pesquisadores preveem os tratamentos de forma deficiente apoia essa noção.