La Piattaforma di Predizione delle Scienze Sociali è stata appena analizzata per capire quanto siano bravi i ricercatori a prevedere le dimensioni degli effetti degli studi. Non sono molto bravi a farlo🧵 I ricercatori sovrastimano sistematicamente quanto grandi saranno i loro effetti!

Quando confronti ciò che i ricercatori prevedono (b) e ciò che trovano (a), le previsioni sono semplicemente molto più grandi delle realtà sul campo. E questo grafico qui sotto potrebbe esagerare l'accuratezza delle previsioni, poiché la correlazione è notevole, ma non ispira fiducia, a 0.453.

Come qualificatore di quel risultato, c'è relativamente meno errore di stima per i risultati RCT e relativamente di più per i risultati non RCT. Ma, interessante, il grado assoluto è lo stesso.

Quali fattori hanno modificato l'accuratezza delle previsioni? Il fattore più potente è stato la saggezza delle folle: i gruppi di persone hanno superato gli individui, in modo decisivo! Inoltre, gli accademici hanno battuto i non accademici, i panelisti pagati hanno battuto i non-panelisti e la fiducia è stata non linearmente negativa!

Le persone sicure di sé sono, assolutamente, meno accurate in generale. Ma confrontando le persone insicure con quelle nella media, non c'è differenza. È quando si raggiunge un'alta fiducia che il modello emerge.

Il motivo è che le previsioni altamente confidenti prevedono dimensioni di effetto maggiori, per qualche motivo.

Più interessante è il fatto che la fiducia tra le persone è correlata a una minore accuratezza, mentre la fiducia all'interno delle persone è correlata a una maggiore accuratezza. Cioè, quando osservi le persone nel tempo, le loro previsioni più sicure sono quelle migliori!

Molti altri fattori hanno avuto ruoli piccoli ma notevoli nell'accuratezza delle previsioni, e consiglio sicuramente di andare a leggere il documento per saperne di più. Ma ciò che consiglio di portare via da questo è che, nel complesso, le persone non sono ancora molto brave a prevedere la scienza.

In un certo senso, questo è un bene. Se tutto potesse essere previsto perfettamente, non avremmo bisogno di fare ricerca in primo luogo. Dall'altro lato, è una cosa negativa, principalmente a causa delle specifiche. Vale a dire, i ricercatori sono troppo sicuri di sé e sembrano esagerare i risultati.

In un altro senso, questa è una cosa davvero informativa che supporta punti che ho fatto altrove Ad esempio, uno degli argomenti sentiti in difesa di un numero eccessivo di p-value nella letteratura che si trovano proprio al limite della significatività è che i ricercatori "hanno "predetto" che Non è vero!

L'argomento sostiene che i ricercatori hanno effettuato un'analisi della potenza—che richiede di scegliere una dimensione dell'effetto sperabilmente realistica—e quindi i loro risultati dovrebbero essere appena significativi. Ma non lo sono. Se hai l'80% di potenza, la maggior parte dei tuoi valori p proviene dalla soglia di significatività.

Nessuno può prevedere dove sarà il p-value senza una conoscenza più precisa sugli effetti del trattamento, sulla varianza e così via, e questa è una conoscenza non disponibile. Ma le persone stanno difendendo l'impossibile, e il fatto che i ricercatori prevedano male i trattamenti supporta questa nozione.