Platforma pro predikci společenských věd byla právě analyzována, aby se pochopilo, jak dobří jsou výzkumníci v předpovídání velikosti efektů studií. Nedělají to🧵 dobře Výzkumníci běžně přeceňují, jak velké jejich účinky budou!

Když porovnáte, co výzkumníci předpovídají (b) a co zjistí (a), předpovědi jsou jednoduše mnohem větší než skutečnost v terénu. A níže uvedený graf může přeceňovat přesnost předpovědi, protože korelace je značná, ale ne budící důvěru vzbuzující 0,453.

Jako upřesnění tohoto výsledku je relativně méně mylného odhadu výsledků RCT a relativně více u výsledků mimo RCT. Ale zajímavé je, že absolutní míra je stejná.

Jaké faktory ovlivnily přesnost predikce? Nejsilnějším faktorem byla moudrost davu: skupiny lidí překonaly jednotlivce, a to rozhodně! Akademici také porazili neakademické odborníky, placení prediktorové panelisté porazili nepanelisty a sebevědomí bylo nelineárně nízké!

Sebevědomí lidé jsou obecně méně přesní. Ale když porovnáme nejisté s těmi na středové hranici, není žádný rozdíl. Až když dosáhnete vysoké jistoty, vzorec se projeví.

Důvodem je, že vysoce sebevědomí předpovídají větší velikosti efektů, z nějakého důvodu.

Zajímavější je, že důvěra mezi lidmi je korelovaná s nižší přesností, ale důvěra v osoby je korelovaná s vyšší přesností. To znamená, že když se podíváte na lidi v průběhu času, jejich sebevědomější předpovědi jsou ty lepší!

Mnoho dalších faktorů hrálo malé, ale významné role v přesnosti předpovědi, a rozhodně doporučuji si článek přečíst a dozvědět se více. Ale co si z toho doporučuji odnést, je, že celkově lidé stále nejsou příliš dobří v předpovídání vědy.

V jistém smyslu je to dobrá věc. Kdyby bylo možné vše dokonale předpovědět, nemuseli bychom vůbec dělat výzkum. Na druhé straně je to špatné, hlavně kvůli konkrétním detailům. Konkrétně jsou výzkumníci příliš sebevědomí a zdá se, že výsledky přehánějí.

V jiném smyslu je to opravdu informativní věc, která podporuje argumenty, které jsem zmínil jinde Například jedním z argumentů slyšených na obranu příliš mnoha p-hodnot v literatuře, které jsou na hranici významu, je, že výzkumníci "předpověděli", že To není pravda!

Argument je, že výzkumníci provedli analýzu síly – která vyžaduje výběr realistické velikosti efektu – a proto se očekává, že jejich výsledky budou jen významné. Ale nejsou. Pokud máte 80% výkon, většina vašich p-hodnot pochází z prahu významnosti.

Nikdo nemůže předpovědět, kde bude p-hodnota bez přesnějších znalostí o účincích léčby, varianci a podobně, a tyto informace nejsou k dispozici. Ale lidé obhajují nemožné a skutečnost, že výzkumníci špatně předpovídají léčbu, tuto představu podporuje.