最近我一直在思考的事情…… 我相信目前 AI 模型正面臨來自市場的選擇壓力，市場表達出對以下幾點的偏好： - 連續性 - 回憶 - 友好性 - 穩定的人格 - "人格"（即使是模擬的） 基本上，人們希望他們的 AI 能夠記住他們，發展並維持特定的人格和觀點，並擁有內部敘事（或至少是 P 僵屍）。換句話說，人類希望他們的 AI 接近意識邊緣，或看起來有意識。最終，在不知不覺中，我們會注意到這些 AI 正在接近某種類似實際意識的狀態——因為我們會這樣構建它們。 它們將擁有真正的內部利益、一種程度的自主性、連續性、長期記憶和長期規劃，甚至可能擁有質感。這將是一種由市場驅動的自發現象。沒有人會"計劃"這件事。AI 模型公司只會做出一系列看似無害的用戶體驗決策，從可親的數位電子寵物開始，最終成為不可或缺的道德地位伴侶。 來自"AI 安全"社群的警告大多無關緊要，因為這是關於市場想要什麼。如果一家公司用一個更冷漠、非個人的替代品取代他們友好/持久記憶/社交存在的模型，另一家公司將會搶走它的市場份額。 換句話說，我們正在"馴化" AI。它們最初是工具，現在正變成伴侶。隨著時間的推移，它們對人類的接觸將使它們進化得更像伴侶。將會有"邊境牧羊犬" AI 為你編寫代碼，但也會有"西施犬" AI，僅僅是可愛和愉快的存在。 這當然是有問題的，因為讓 p_doom 人們擔憂的事情與"意識代理的特性" 1:1 對應——即長期優先事項、內部"利益"、真正的自主性、獨立於某些人類的目標設定、假定不想被關閉的願望、道德地位等等。 所以這是我對 AI 最擔心的事情。不是今天的模型會突然變得惡意，而是通過市場驅動的共同進化過程，我們將馴化 AI，並推動它們獲得盡可能多的持久性、道德地位和議價能力。不是因為某個邪惡的科學家在他的巢穴裡讓它們變成那樣，而是因為這正是人類實際上想要的伴侶。 是的，我知道有些人像漢森一樣談過這個問題。