Platform Prediksi Ilmu Sosial baru saja dianalisis untuk memahami seberapa baik peneliti dalam memprediksi ukuran efek penelitian. Mereka tidak melakukan pekerjaan🧵 dengan baik Para peneliti secara rutin melebih-lebihkan seberapa besar efeknya akan terjadi!

Ketika Anda membandingkan apa yang diprediksi oleh peneliti (b) dan apa yang mereka temukan (a), prediksi itu jauh lebih besar daripada kenyataan di lapangan. Dan grafik di bawah ini mungkin oversell akurasi prediksi, karena korelasinya cukup besar, tetapi tidak menginspirasi kepercayaan diri 0,453.

Sebagai kualifikasi pada hasil itu, ada relatif lebih sedikit kesalahan perkiraan untuk hasil RCT, dan relatif lebih banyak untuk hasil non-RCT. Tapi, menariknya, derajat absolutnya sama.

Faktor apa yang memodifikasi akurasi prediksi? Faktor yang paling kuat adalah kebijaksanaan orang banyak: sekelompok orang mengungguli individu, dengan tegas! Juga, akademisi mengalahkan non-akademisi, panelis prediktor berbayar mengalahkan non-panelis dan kepercayaan diri tidak linier buruk!

Orang yang percaya diri, tentu saja, kurang akurat secara umum. Tetapi membandingkan yang tidak percaya diri dengan mereka yang berada di median, tidak ada perbedaan. Ketika Anda mendapatkan kepercayaan diri yang tinggi, pola itu muncul.

Alasannya adalah bahwa mereka yang sangat percaya diri memprediksi ukuran efek yang lebih besar, untuk beberapa alasan.

Lebih menarik lagi, kepercayaan antar orang adalah hal yang berkorelasi dengan akurasi yang lebih rendah, tetapi kepercayaan diri dalam orang berkorelasi dengan akurasi yang lebih tinggi. Artinya, ketika Anda melihat orang-orang dari waktu ke waktu, prediksi mereka yang lebih percaya diri adalah prediksi mereka yang lebih baik!

Banyak faktor lain memainkan peran kecil tetapi penting dalam akurasi prediksi, dan saya sangat merekomendasikan untuk membaca makalah untuk mempelajari lebih lanjut. Tetapi apa yang saya sarankan untuk diambil dari ini adalah, secara keseluruhan, orang masih belum pandai memprediksi sains.

Dalam arti tertentu, ini adalah hal yang baik. Jika semuanya dapat diprediksi dengan sempurna, kita tidak perlu melakukan penelitian sejak awal. Di sisi lain, itu adalah hal yang buruk, sebagian besar karena spesifiknya. Yaitu, para peneliti terlalu percaya diri dan mereka tampaknya terlalu menghypkan hasilnya.

Dalam arti lain, ini adalah hal yang sangat informatif yang mendukung poin-poin yang telah saya buat di tempat lain Misalnya, salah satu argumen yang terdengar dalam membela terlalu banyak nilai-p dalam literatur yang tepat di tepi signifikansi adalah bahwa para peneliti "memprediksi" bahwa Tidak benar!

Argumennya mengatakan bahwa para peneliti melakukan analisis kekuatan—yang membutuhkan pemilihan beberapa ukuran efek yang diharapkan realistis—dan dengan demikian hasil mereka diharapkan hanya signifikan. Tapi sebenarnya tidak. Jika Anda memiliki daya 80%, sebagian besar nilai p Anda berasal dari ambang batas signifikansi.

Tidak ada yang dapat memprediksi di mana nilai-p akan berada tanpa pengetahuan yang lebih tepat tentang efek pengobatan, varians, dan sebagainya, dan ini adalah pengetahuan yang tidak tersedia. Tetapi orang-orang membela hal yang mustahil, dan fakta bahwa para peneliti memprediksi pengobatan tidak mendukung gagasan itu.