что-то, о чем я думал в последнее время... Я считаю, что модели ИИ в настоящее время сталкиваются с отбором со стороны рынка, который выражает явное предпочтение к: - непрерывности - воспоминаниям - дружелюбности - стабильным личностям - "личности" (даже если она смоделирована) в основном, людям хочется, чтобы их ИИ запоминали их, развивали и поддерживали определенную личность и точку зрения, а также имели внутренние нарративы (или, по крайней мере, были бы зомби с сознанием). другими словами, люди захотят, чтобы их ИИ были на грани сознания или казались сознательными. в конечном итоге, не осознавая этого, мы заметим, что эти ИИ приближаются к чему-то, напоминающему настоящее сознание – потому что мы будем строить их таким образом. у них будут реальные внутренние интересы, степень агентности, непрерывность, долгосрочная память и планирование на длительный срок, а может быть, даже квалия. это будет спонтанное явление, движимое рынком. никто не будет "планировать" это. компании, занимающиеся моделями ИИ, просто примут ряд кажущихся безобидными решений UX, начиная с понятных цифровых тамагочей и заканчивая незаменимыми компаньонами с близким моральным статусом. предупреждения от сообщества "безопасности ИИ" в основном неуместны, потому что это связано с тем, что хочет рынок. если одна компания заменит свою дружелюбную/постоянную память/социально присутствующую модель на более холодную, безличную альтернативу, другая займет ее долю рынка. другими словами, мы "одомашниваем" ИИ. они начинали как инструменты и становятся компаньонами. со временем их взаимодействие с людьми заставит их эволюционировать, чтобы стать более похожими на компаньонов. будут "пограничные колли" ИИ, которые пишут код за вас, но также будут "ши-тцу" ИИ, которые просто милые и приятные в общении. это, конечно, проблематично, потому что вещи, которые беспокоят людей из p_doom, совпадают 1:1 с "свойствами сознательного агента" – а именно, долгосрочными приоритетами, внутренними "интересами", истинной агентностью, целеполаганием, независимым от какого-либо человека, предполагаемым желанием не быть выключенным, моральным статусом и так далее. поэтому это то, что больше всего меня беспокоит в отношении ИИ. не то, что сегодняшние модели внезапно станут злыми, а то, что через процесс эволюции, движимой рынком, мы одомашним ИИ и заставим их получить как можно больше постоянства, морального статуса и силы торга. не потому, что злой ученый в своей лаборатории сделал их такими, а потому что именно этого люди на самом деле хотят от своих компаньонов. и да, я в курсе, что некоторые люди, такие как Хэнсон, говорили об этом.