Die Social Science Prediction Platform wurde gerade analysiert, um zu verstehen, wie gut Forscher darin sind, die Effektgrößen von Studien vorherzusagen. Sie machen dabei keinen guten Job🧵 Forscher schätzen routinemäßig, wie groß ihre Effekte ausfallen werden, zu hoch!

Wenn man vergleicht, was Forscher vorhersagen (b) und was sie finden (a), sind die Vorhersagen einfach viel größer als die Realitäten vor Ort. Und dieses Diagramm unten könnte die Vorhersagegenauigkeit überbewerten, da die Korrelation zwar beträchtlich, aber nicht vertrauenserweckend ist: 0,453.

Als Qualifikation zu diesem Ergebnis gibt es relativ weniger Fehleinschätzungen bei RCT-Ergebnissen und relativ mehr bei Nicht-RCT-Ergebnissen. Aber interessanterweise ist der absolute Grad derselbe.

Welche Faktoren haben die Vorhersagegenauigkeit verändert? Der stärkste Faktor war die Weisheit der Massen: Gruppen von Menschen übertrafen Einzelpersonen entscheidend! Außerdem schnitten Akademiker besser ab als Nicht-Akademiker, bezahlte Vorhersagepanelisten waren besser als Nicht-Panelisten und das Vertrauen war nichtlinear schlecht!

Selbstbewusste Menschen sind im Allgemeinen absolut weniger genau. Aber im Vergleich zu den Unsicheren gibt es keinen Unterschied zu denen im Median. Es ist erst bei hoher Zuversicht, dass das Muster sichtbar wird.

Der Grund dafür ist, dass die hochgradig zuversichtlichen größere Effektgrößen vorhersagen, aus irgendeinem Grund.

Interessanterweise ist das Vertrauen zwischen Personen das, was mit einer geringeren Genauigkeit korreliert, während das Vertrauen innerhalb von Personen mit einer höheren Genauigkeit korreliert. Das heißt, wenn man Menschen über einen Zeitraum betrachtet, sind ihre selbstbewussteren Vorhersagen die besseren!

Viele andere Faktoren spielten kleine, aber bemerkenswerte Rollen bei der Vorhersagegenauigkeit, und ich empfehle auf jeden Fall, das Papier zu lesen, um mehr zu erfahren. Aber was ich daraus mitnehmen möchte, ist, dass die Menschen insgesamt immer noch nicht sehr gut darin sind, Wissenschaft vorherzusagen.

In gewisser Hinsicht ist das eine gute Sache. Wenn alles perfekt vorhergesagt werden könnte, bräuchten wir überhaupt keine Forschung. In einer anderen Hinsicht ist es eine schlechte Sache, hauptsächlich wegen der Einzelheiten. Nämlich, Forscher sind übermäßig zuversichtlich und scheinen Ergebnisse überzubewerten.

In einem anderen Sinne ist dies eine wirklich informative Sache, die Punkte unterstützt, die ich anderswo gemacht habe Zum Beispiel ist eines der Argumente, das in Verteidigung von übermäßig vielen p-Werten in der Literatur, die direkt an der Grenze der Signifikanz liegen, gehört wird, dass Forscher "vorhergesagt" haben, dass Nicht wahr!

Das Argument besagt, dass Forscher eine Power-Analyse durchgeführt haben – die erfordert, eine hoffentlich realistische Effektgröße auszuwählen – und daher werden ihre Ergebnisse als gerade signifikant erwartet. Aber das sind sie nicht. Wenn Sie 80 % Power haben, stammen die meisten Ihrer p-Werte von der Signifikanzschwelle.

Niemand kann vorhersagen, wo der p-Wert liegen wird, ohne genauere Kenntnisse über die Behandlungseffekte, die Varianz usw., und dieses Wissen ist nicht verfügbar. Aber die Menschen verteidigen das Unmögliche, und die Tatsache, dass Forscher Behandlungen schlecht vorhersagen, unterstützt diese Vorstellung.