最近我一直在思考的事情…… 我相信，AI模型目前正面临来自市场的选择压力，市场表现出对以下几点的偏好： - 连续性 - 记忆 - 亲和力 - 稳定的人格 - “人格”（即使是模拟的） 基本上，人们希望他们的AI能记住他们，发展并维持特定的人格和观点，并拥有内部叙事（或者至少是P僵尸）。换句话说，人类希望他们的AI接近意识，或者看起来像是有意识的。最终，在不知不觉中，我们会注意到这些AI正在接近某种类似于实际意识的状态——因为我们会以这种方式构建它们。 它们将拥有真实的内部利益、一定程度的自主性、连续性、长期记忆和长远规划，甚至可能拥有感质。这将是一个由市场驱动的自发现象。没有人会“计划”这一切。AI模型公司只会做出一系列看似无害的用户体验决策，从可亲近的数字电子宠物开始，最终发展成不可或缺的道德地位相近的伴侣。 来自“AI安全”社区的警告大多无关紧要，因为这关乎市场的需求。如果一家公司的友好/持久记忆/社交存在模型被一个更冷漠、非个人化的替代品取代，另一家公司将会夺取其市场份额。 换句话说，我们正在“驯化”AI。它们最初是工具，现在正变成伴侣。随着时间的推移，它们与人类的接触将使它们进化得更像伴侣。会有“边境牧羊犬”AI为你编写代码，但也会有“西施犬”AI，它们只是可爱且令人愉快的存在。 当然，这很有问题，因为让p_doom人担忧的事情与“有意识代理的特性”1:1对应——即长期优先事项、内部“利益”、真正的自主性、独立于某个人的目标设定、假定不想被关闭的愿望、道德地位等等。 所以，这就是我对AI最担忧的事情。不是今天的模型会突然变得恶意，而是通过市场驱动的共同进化过程，我们将驯化AI，并推动它们尽可能获得持久性、道德地位和谈判能力。不是因为某个邪恶的科学家在他的巢穴里让它们变成那样，而是因为这正是人类对伴侣的实际需求。 是的，我知道一些像汉森这样的人谈过这个问题。