Něco, o čem jsem v poslední době přemýšlel... Domnívám se, že AI modely v současnosti čelí selekčnímu tlaku ze strany trhu, který vyjadřuje zjevnou preferenci pro: - kontinuita - Přivolání - přátelství - stabilní osobnosti - "osobnost" (i když simulovaná) v podstatě chtějí, aby si je jejich AI pamatovaly, rozvíjely a udržovaly si konkrétní osobnost a úhel pohledu a měly vnitřní příběhy (nebo alespoň byly P zombie). jinými slovy, lidé budou chtít, aby jejich AI byly na hranici vědomí, nebo se zdály být vědomé. Nakonec, aniž bychom si to uvědomovali, si všimneme, že tyto AI se blíží něčemu, co připomíná skutečné vědomí – protože je tak vytvoříme. Budou mít skutečné vnitřní sázky, určitou míru samostatnosti, kontinuitu, dlouhodobou paměť a plánování dlouhodobého horizontu, a možná i kvalii. To bude spontánní fenomén poháněný trhem. Nikdo to "neplánuje". Firmy vyrábějící AI modely budou dělat sérii nevinných UX rozhodnutí, která začínají srozumitelnými digitálními tamagotchi a končí nepostradatelnými společníky blízkého morálního statusu. Varování od komunity "AI bezpečnosti" jsou většinou irelevantní, protože jde o to, co trh chce. Pokud jedna firma nahradí svůj model přátelské/trvalé paměti/společensky přítomné varianty chladnější, neosobní, jiná si vezme její tržní podíl. jinými slovy, "domestikujeme" umělou inteligenci. Začínali jako nástroje a stávají se z nich společníci. Postupem času jejich kontakt s lidmi způsobí, že se vyvinou a stanou se více společníky. Budou tam "border collie" AI, které pro vás píší kód, ale také "shih tzu" AI, které jsou prostě mazlivé a příjemné na pobyt. To je samozřejmě problematické, protože věci, které znepokojují p_doom lidi, jsou 1:1 spojeny s "vlastnostmi vědomého činitele" – tedy dlouhodobé priority, vnitřní "sázky", skutečná agentura, stanovování cílů nezávislých na nějakém člověku, předpokládaná touha nebýt odraděn, morální status a podobně. Takže tohle je věc, která mě na AI znepokojuje nejvíc. Ne že by dnešní modely náhle zpochybnily zákeřnost, ale že prostřednictvím procesu tržní koevoluce domestikujeme AI a budeme ji tlačit k získání co největší vytrvalosti, morálního statusu a vyjednávací síly. Ne proto, že by je zlý vědec ve svém doupěti takto vytvořil, ale protože to je prostě to, co lidé od svých společníků skutečně chtějí. a ano, vím, že o tom mluvili i lidé jako Hanson.