Платформа прогнозування соціальних наук щойно була проаналізована, щоб зрозуміти, наскільки добре дослідники передбачають розміри ефектів досліджень. Вони не справляються з цим добре🧵 Дослідники регулярно переоцінюють, наскільки масштабними будуть їхні ефекти!

Коли порівнювати прогнози дослідників (b) і те, що вони знаходять (a), прогнози просто набагато більші за реальність на місцях. І цей графік нижче може переоцінити точність прогнозів, оскільки кореляція становить значний, але не впевнений 0.453.

Як уточнення цього результату, відносно менше неправильних оцінок результатів РКД, а відносно більше — для не-РКД. Але, що цікаво, абсолютний ступінь той самий.

Які фактори змінили точність прогнозування? Найпотужнішим чинником була мудрість натовпу: групи людей перевершували окремих людей, і це рішуче! Також академіки перемагали неакадеміків, оплачувані учасники прогнозу перемагали тих, хто не був учасником панелі, а впевненість була абсолютно низькою!

Впевнені в собі люди загалом менш точні. Але порівнюючи невпевнених із тими, хто на медіані, різниці немає. Саме коли ти досягаєш високої впевненості, закономірність проявляється.

Причина в тому, що дуже впевнені люди з якоїсь причини передбачають більші розміри ефектів.

Ще цікавіше, що довіра між особами корелює з нижчою точністю, а довіра всередині осіб — з вищою точністю. Тобто, якщо дивитися на людей з часом, їхні більш впевнені прогнози виявляються кращими!

Багато інших факторів відіграли невелику, але помітну роль у точності прогнозування, і я однозначно рекомендую прочитати статтю, щоб дізнатися більше. Але те, що я рекомендую винести з цього, так це те, що загалом люди все ще не дуже добре передбачають науку.

У певному сенсі це добре. Якби все можна було ідеально передбачити, нам би взагалі не довелося проводити дослідження. В іншому випадку це погано, головним чином через деталі. А саме, дослідники надто впевнені в собі і, здається, перебільшують результати.

З іншого боку, це дуже інформативна річ, яка підтверджує мої думки, які я висловлював раніше Наприклад, одним із аргументів на захист надмірної кількості p-значень у літературі, які знаходяться на межі значущості, є те, що дослідники «передбачили», що Це не так!

Аргумент полягає в тому, що дослідники провели аналіз потужності — для якого потрібно обрати, сподіваємось, реалістичний розмір ефекту — і тому їхні результати мають бути лише значущими. Але це не так. Якщо у вас 80% сили, більшість p-значень походять від порогу значущості.

Ніхто не може передбачити, де буде p-значення без більш точних знань про ефекти лікування, дисперсію тощо, і це недоступні знання. Але люди захищають неможливе, і той факт, що дослідники погано прогнозують лікування, підтверджує цю думку.