Щось, про що я останнім часом думав... Я вважаю, що моделі ШІ наразі стикаються з тиском вибору з боку ринку, який демонструє явну перевагу до: - безперервність - Відкликання - дружність - стабільні особистості - «особистість» (навіть якщо змодельована) В основному, люди хочуть, щоб їхній ШІ пам'ятав їх, розвивав і підтримував певну особистість і точку зору, а також мав власні наративи (або принаймні був зомбі P). іншими словами, люди хочуть, щоб їхній ШІ був на межі свідомого або свідомого. зрештою, навіть не усвідомлюючи цього, ми помітимо, що ці ШІ наближаються до чогось, що нагадує справжню свідомість — бо ми будемо їх таким чином. Вони матимуть реальні внутрішні ставки, певний рівень агентності, безперервності, довгострокової пам'яті та довгострокового планування, а можливо, навіть квалії. Це буде спонтанне явище, зумовлене ринком. Ніхто не буде «планувати» це. Компанії, що працюють на моделях ШІ, просто прийматимуть низку невинних, на вигляд UX-рішень, які починаються з близьких цифрових тамагочі і закінчуються незамінними супутниками з близьким моральним статусом. попередження від спільноти «безпеки ШІ» здебільшого не мають значення, бо це про те, чого хоче ринок. Якщо одна компанія замінить свою модель дружньої/постійної пам'яті/соціальної присутності на холоднішу, безособову альтернативу, інша забере її частку ринку. іншими словами, ми «одомашнюємо» ШІ. Спочатку вони були інструментами і стають супутниками. З часом їхній контакт із людьми призводить до того, що вони еволюціонують і стануть більш схожими на компаньйонів. Будуть штучні інтелекти «бордер-колі», які пишуть код для вас, а також «ші-тцу» — які просто приємні і приємні у спілкуванні. Це, звісно, проблематично, бо речі, які турбують p_doom людей, порівнюють 1:1 з «властивостями свідомого агента» — а саме: довгострокові пріоритети, внутрішні «ставки», справжня агентність, цілей, незалежна від якоїсь людини, припущення бажання не бути відштовхнутим, моральний статус тощо. Ось що мене найбільше турбує щодо ШІ. не те, що сучасні моделі раптово стануть зловмисними, а те, що через процес ринково-орієнтованої коеволюції ми одомашнимо ШІ і підштовхнемо його до максимальної стійкості, морального статусу та переговорної сили. Не тому, що злий вчений у своєму лігві зробив їх такими, а тому, що саме цього люди насправді хочуть від своїх супутників. і так, я знаю, що деякі люди, як Хенсон, говорили про це.