La Social Science Prediction Platform acaba de ser analizada para entender lo buenos que son los investigadores prediciendo el tamaño de los efectos de los estudios. No lo hacen bien🧵 ¡Los investigadores suelen sobrestimar lo grandes que serán sus efectos!

Cuando comparas lo que los investigadores predicen (b) y lo que encuentran (a), las predicciones son simplemente mucho más amplias que las realidades sobre el terreno. Y este gráfico de abajo puede sobrevalorar la precisión de las predicciones, ya que la correlación es de un considerable pero no inspirador de confianza, de 0,453.

Como calificativo para ese resultado, hay relativamente menos estimaciones erróneas para los resultados de ECA y relativamente más para los resultados no RCT. Pero, curiosamente, el grado absoluto es el mismo.

¿Qué factores modificaron la precisión de las predicciones? El factor más poderoso fue la sabiduría de las multitudes: ¡los grupos de personas superaron a individuos, de manera decisiva! Además, los académicos ganaban a los no académicos, los panelistas de predicción remunerada vencían a los no panelistas y la confianza era no linealmente mala.

Las personas seguras son, absolutamente, menos precisas en general. Pero comparando a los inseguros con los que están en la mediana, no hay diferencia. Es cuando entras en alta confianza cuando el patrón se nota.

La razón es que los altamente confiados predicen tamaños de efecto mayores, por alguna razón.

Más interesante aún, la confianza entre personas es lo que se correlaciona con una menor precisión, pero la confianza entre personas se correlaciona con una mayor precisión. Es decir, cuando observas a las personas a lo largo del tiempo, sus predicciones más seguras son las mejores.

Muchos otros factores jugaron un papel pequeño pero notable en la precisión de las predicciones, y definitivamente recomiendo leer el artículo para aprender más. Pero lo que recomiendo sacar de esto es que, en general, la gente sigue sin ser muy buena prediciendo la ciencia.

En cierto sentido, esto es algo bueno. Si todo pudiera predecirse perfectamente, no necesitaríamos hacer investigación en primer lugar. En otro, es algo negativo, en gran parte por los detalles concretos. Es decir, los investigadores están demasiado confiados y parecen exagerar los resultados.

En otro sentido, esto es algo realmente informativo que respalda los puntos que he expuesto en otros sitios Por ejemplo, uno de los argumentos que se escuchan en defensa de que en la literatura hay demasiados valores p justo al límite de la significación es que los investigadores "predijeron" que ¡No es verdad!

El argumento es que los investigadores realizaron un análisis de potencia—que requiere elegir un tamaño de efecto, ojalá realista—y, por tanto, se espera que sus resultados sean justamente significativos. Pero no lo son. Si tienes un 80% de potencia, la mayoría de tus valores p provienen del umbral de significación.

Nadie puede predecir dónde estará el valor p sin un conocimiento más preciso sobre los efectos del tratamiento, la varianza, etc., y este es un conocimiento inaccesible. Pero la gente defiende lo imposible, y el hecho de que los investigadores predigan mal los tratamientos respalda esa idea.