La Plataforma de Predicción de Ciencias Sociales fue analizada recientemente para entender cuán buenos son los investigadores al predecir los tamaños de efecto de los estudios. ¡No lo hacen bien🧵 ¡Los investigadores suelen sobreestimar cuán grandes serán sus efectos!

Cuando comparas lo que los investigadores predicen (b) y lo que encuentran (a), las predicciones son simplemente mucho más grandes que las realidades sobre el terreno. Y este gráfico a continuación puede exagerar la precisión de la predicción, ya que la correlación es considerable, pero no inspiradora de confianza, 0.453.

Como una aclaración sobre ese resultado, hay relativamente menos subestimación para los resultados de RCT, y relativamente más para los resultados no RCT. Pero, curiosamente, el grado absoluto es el mismo.

¿Qué factores modificaron la precisión de las predicciones? El factor más poderoso fue la sabiduría de las multitudes: ¡los grupos de personas superaron a los individuos, de manera decisiva! Además, los académicos superaron a los no académicos, los panelistas pagados superaron a los no panelistas y la confianza fue no linealmente mala!

Las personas seguras de sí mismas son, absolutamente, menos precisas en general. Pero al comparar a los inseguros con aquellos en la mediana, no hay diferencia. Es cuando se llega a una alta confianza que el patrón aparece.

La razón es que los que tienen alta confianza predicen tamaños de efecto más grandes, por alguna razón.

Más interesante aún, la confianza entre personas es lo que está correlacionado con una menor precisión, pero la confianza dentro de las personas está correlacionada con una mayor precisión. Es decir, cuando observas a las personas a lo largo del tiempo, sus predicciones más seguras son las mejores!

Muchos otros factores jugaron papeles pequeños pero notables en la precisión de las predicciones, y definitivamente recomiendo que vayan a leer el artículo para aprender más. Pero lo que recomiendo que se lleven de esto es que, en general, la gente aún no es muy buena prediciendo la ciencia.

En cierto sentido, esto es algo bueno. Si todo pudiera preverse perfectamente, no necesitaríamos hacer investigación en primer lugar. En otro sentido, es algo malo, en gran parte debido a los detalles. A saber, los investigadores son demasiado confiados y parecen exagerar los resultados.

En otro sentido, esto es algo realmente informativo que apoya puntos que he mencionado en otros lugares Por ejemplo, uno de los argumentos escuchados en defensa de la excesiva cantidad de valores p en la literatura que están justo en el límite de la significancia es que los investigadores "predijeron" que ¡No es cierto!

El argumento sostiene que los investigadores realizaron un análisis de potencia—lo que requiere elegir un tamaño de efecto que sea, con suerte, realista—y por lo tanto se espera que sus resultados sean apenas significativos. Pero no lo son. Si tienes un 80% de potencia, la mayoría de tus valores p provienen del umbral de significancia.

Nadie puede predecir dónde estará el valor p sin un conocimiento más preciso sobre los efectos del tratamiento, la varianza, y así sucesivamente, y este conocimiento no está disponible. Pero la gente está defendiendo lo imposible, y el hecho de que los investigadores predigan mal los tratamientos apoya esa noción.