Social Science Prediction Platform analysoitiin juuri, jotta ymmärrettiin, kuinka hyviä tutkijat ovat ennustamaan tutkimusten vaikutuskokoja. He eivät tee sitä🧵 hyvin Tutkijat yliarvioivat rutiininomaisesti, kuinka suuria niiden vaikutukset tulevat olemaan!

Kun vertaat sitä, mitä tutkijat ennustavat (b) ja mitä he löytävät (a), ennusteet ovat yksinkertaisesti paljon suurempia kuin todellisuudet. Ja alla oleva kaavio saattaa liioitella ennusteen tarkkuutta, sillä korrelaatio on suuri, mutta ei luottamusta herättävä 0,453.

Tämän tuloksen tarkkennuksena RCT-tuloksille on suhteellisesti vähemmän mismisestimaatiota ja ei-RCT-tuloksille suhteellisesti enemmän. Mutta mielenkiintoista kyllä, absoluuttinen aste on sama.

Mitkä tekijät vaikuttivat ennusteen tarkkuuteen? Voimakkain tekijä oli väkijoukkojen viisaus: ryhmät suoriutuivat selvästi yksilöistä paremmin! Lisäksi akateemikot voittivat ei-akateemikot, palkatut ennustajapaneelin jäsenet voittivat ei-paneelin jäsenet ja itseluottamus oli epälineaarisesti huonoa!

Itsevarmat ihmiset ovat ehdottomasti vähemmän tarkkoja yleisesti ottaen. Mutta kun verrataan epävarmoja keskikaistalla, eroa ei ole. Kun itsevarmuus on korkea, kaava alkaa näkyä.

Syynä on se, että erittäin itsevarmat ennustavat jostain syystä suurempia vaikutuskokoja.

Mielenkiintoisempaa on, että henkilöiden välinen itsevarmuus korreloi alhaisemman tarkkuuden kanssa, mutta sisäinen luottamus korreloi korkeamman tarkkuuden kanssa. Toisin sanoen, kun katsoo ihmisiä ajan myötä, heidän itsevarmemmat ennusteensa ovat parempia!

Monet muut tekijät vaikuttivat pieniin mutta merkittäviin vaikutuksiin ennusteen tarkkuudessa, ja suosittelen ehdottomasti lukemaan artikkelin saadaksesi lisätietoja. Mutta suosittelen ottamaan tästä esiin, että yleisesti ottaen ihmiset eivät vieläkään ole kovin hyviä ennustamaan tiedettä.

Jossain mielessä tämä on hyvä asia. Jos kaikki voitaisiin ennustaa täydellisesti, meidän ei tarvitsisi tehdä tutkimusta alun perinkään. Toisessa tapauksessa se on huono asia, pitkälti yksityiskohtien takia. Nimittäin tutkijat ovat ylimielisiä ja näyttävät liioittelevan tuloksia.

Toisaalta tämä on todella informatiivinen asia, joka tukee muualla esittämiäni pointteja Esimerkiksi yksi kirjallisuudessa kuultu argumentti liiallisen monien p-arvojen olevan juuri merkittävyyden rajalla on se, että tutkijat "ennustivat" Ei pidä paikkaansa!

Väite on, että tutkijat tekivät tehoanalyysin—mikä vaatii jonkin toivottavasti realistisen vaikutuskoon valitsemista—ja siksi heidän tuloksistaan odotetaan olevan juuri merkityksellisiä. Mutta he eivät ole. Jos sinulla on 80 % tehoa, suurin osa p-arvoistasi tulee merkittävyyskynnyksestä.

Kukaan ei voi ennustaa, missä p-arvo tulee olemaan ilman tarkempaa tietoa hoidon vaikutuksista, varianssista ja muusta, ja tämä ei ole saatavilla olevaa tietoa. Mutta ihmiset puolustavat mahdotonta, ja se, että tutkijat ennustavat hoitoja huonosti, tukee tätä käsitystä.