Platforma Prognoz Społecznych Nauk została właśnie przeanalizowana, aby zrozumieć, jak dobrze badacze przewidują rozmiary efektów badań. Nie radzą sobie z tym dobrze🧵 Badacze rutynowo przeszacowują, jak duże będą ich efekty!

Kiedy porównasz to, co przewidują badacze (b), z tym, co znajdują (a), przewidywania są po prostu znacznie większe niż rzeczywistość na miejscu. A ten wykres poniżej może przesadzać z dokładnością przewidywań, ponieważ korelacja wynosi znaczące, ale nie budzące zaufania 0,453.

Jako zastrzeżenie do tego wyniku, istnieje stosunkowo mniej błędnych oszacowań dla wyników RCT, a stosunkowo więcej dla wyników nie-RCT. Ale, co ciekawe, absolutny stopień jest taki sam.

Jakie czynniki wpłynęły na dokładność prognoz? Najpotężniejszym czynnikiem była mądrość tłumów: grupy ludzi przewyższały jednostki, zdecydowanie! Ponadto, akademicy przewyższali nieakademików, płatni członkowie paneli prognozujących przewyższali nieczłonków paneli, a pewność była nieliniowo zła!

Ludzie pewni siebie są, absolutnie, mniej dokładni ogólnie. Ale porównując osoby niepewne z tymi na medianie, nie ma różnicy. To właśnie wtedy, gdy wchodzisz w wysoką pewność siebie, pojawia się ten wzór.

Powodem jest to, że osoby o wysokim poziomie pewności przewidują większe rozmiary efektów, z jakiegoś powodu.

Co ciekawe, pewność między osobami jest związana z niższą dokładnością, ale pewność w obrębie jednej osoby jest związana z wyższą dokładnością. To znaczy, że gdy patrzysz na ludzi w czasie, ich bardziej pewne prognozy są lepsze!

Wiele innych czynników odegrało małe, ale znaczące role w dokładności prognoz, i zdecydowanie polecam przeczytać ten artykuł, aby dowiedzieć się więcej. Ale to, co polecam wynieść z tego, to to, że ogólnie rzecz biorąc, ludzie wciąż nie są zbyt dobrzy w przewidywaniu nauki.

W pewnym sensie to dobra rzecz. Gdyby wszystko można było doskonale przewidzieć, nie musielibyśmy w ogóle prowadzić badań. Z drugiej strony to zła rzecz, głównie z powodu szczegółów. Mianowicie, badacze są zbyt pewni siebie i wydaje się, że przesadzają z wynikami.

W innym sensie, to jest naprawdę informacyjna rzecz, która wspiera punkty, które przedstawiłem gdzie indziej Na przykład, jednym z argumentów słyszanych w obronie nadmiernej liczby wartości p w literaturze, które są tuż na granicy istotności, jest to, że badacze "przewidzieli", że Nieprawda!

Argumentacja głosi, że badacze przeprowadzili analizę mocy—co wymaga wybrania jakiegoś realistycznego rozmiaru efektu—i w związku z tym ich wyniki mają być tylko nieznacznie istotne. Ale tak nie jest. Jeśli masz 80% mocy, większość twoich wartości p pochodzi z progu istotności.

Nikt nie może przewidzieć, gdzie będzie wartość p, bez dokładniejszej wiedzy na temat efektów leczenia, wariancji i tym podobnych, a ta wiedza jest niedostępna. Jednak ludzie bronią niemożliwego, a fakt, że badacze słabo przewidują efekty leczenia, wspiera tę tezę.