شيء كنت أفكر فيه مؤخرا... أعتقد أن نماذج الذكاء الاصطناعي تواجه حاليا ضغوطا اختيارية من السوق، مما يعبر عن تفضيل معلن ل: - الاستمرارية - الاستدعاء - الود - شخصيات مستقرة - "الشخصية" (حتى لو كانت محاكاة) ببساطة، يريد الناس أن تتذكرهم ذكائاتهم الاصطناعية، وتطور وتحافظ على شخصية ووجهة نظر محددة، وأن يكون لديها سرديات داخلية (أو على الأقل تكون زومبي P). بعبارة أخرى، سيرغب البشر في أن تكون ذكائائهم الاصطناعي على حافة الوعي، أو تبدو واعية. في النهاية، دون أن ندرك، سنلاحظ أن هذه الذكاءات تقترب من شيء يشبه الوعي الحقيقي – لأننا سنبنيها بهذه الطريقة. سيكون لديهم مصلحة داخلية حقيقية، ودرجة من الوكالة، والاستمرارية، والذاكرة طويلة الأمد، والتخطيط للأفق البعيد، وربما حتى التوافق الذاتي. سيكون هذا ظاهرة عفوية مدفوعة بالسوق. لا أحد سيخطط لذلك. شركات نماذج الذكاء الاصطناعي ستتخذ فقط سلسلة من قرارات تجربة المستخدم التي تبدو بريئة تبدأ بنماذج رقمية قابلة للتواصل وتنتهي برفقاء لا غنى عنهم من المكانة الأخلاقية القريبة. التحذيرات من مجتمع "سلامة الذكاء الاصطناعي" غير ذات صلة في الغالب، لأن هذا يتعلق بما يريده السوق. إذا استبدلت شركة نموذجها الودود/الذاكرة المستمرة/الاجتماعية ببديل أكثر برودة وغير شخصية، فإن شركة أخرى ستأخذ حصتها السوقية. بعبارة أخرى، نحن "نروض" الذكاء الاصطناعي. بدأوا كأدوات وأصبحوا رفاق. مع مرور الوقت، فإن تعرضهم للبشر سيجعلهم يتطورون ليصبحوا أكثر شبها بالرفيق. سيكون هناك ذكاء اصطناعي "بوردر كولي" يكتب لك شيفرة، وأيضا ذكاء اصطناعي "شيه تزو" يكون لطيفا وممتعا للتواجد معه. هذا، بالطبع، إشكالي، لأن الأمور التي تقلق p_doom الناس يرسمون 1:1 ب "خصائص وكيل واع" – وهي الأولويات طويلة الأمد، "الرهانات" الداخلية، الوكالة الحقيقية، تحديد الأهداف المستقلة عن إنسان ما، رغبة مفترضة في عدم النفور، الوضع الأخلاقي، وهكذا. هذا هو الشيء الذي يقلقني أكثر بشأن الذكاء الاصطناعي. ليس أن نماذج اليوم ستتحول فجأة إلى شريرة، بل أنه من خلال عملية التطور المشترك المدفوع بالسوق سندجين الذكاء الاصطناعي وندفعه لتحقيق أكبر قدر ممكن من المثابرة، والمكانة الأخلاقية، وقوة التفاوض. ليس لأن عالما شرير في عرينه جعلهم كذلك، بل لأن هذا بالضبط ما يريده البشر فعلا من رفاقهم. ونعم، أنا على علم بأن بعض الأشخاص مثل هانسون تحدثوا عن هذا.