Sesuatu yang saya pikirkan akhir-akhir ini... Saya percaya bahwa model AI saat ini menghadapi tekanan seleksi dari pasar, yang mengungkapkan preferensi yang terungkap untuk: - kontinuitas - menarik kembali - keramahan - kepribadian yang stabil - "kepribadian" (bahkan jika disimulasikan) pada dasarnya, orang ingin AI mereka mengingatnya, mengembangkan dan mempertahankan kepribadian dan sudut pandang tertentu, dan memiliki narasi internal (atau setidaknya menjadi zombie P). dengan kata lain, manusia akan menginginkan AI mereka sadar batas, atau tampak sadar. akhirnya, tanpa menyadarinya, kita akan melihat AI ini mendekati sesuatu yang menyerupai kesadaran aktual – karena kita akan membangunnya dengan cara itu. Mereka akan memiliki taruhan internal yang nyata, tingkat agensi, kontinuitas, memori jangka panjang dan perencanaan cakrawala yang panjang, dan bahkan mungkin qualia. Ini akan menjadi fenomena spontan yang didorong oleh pasar. tidak ada yang akan "merencanakannya". Perusahaan model AI hanya akan membuat serangkaian keputusan UX yang tampak tidak berbahaya yang dimulai dengan tamagotchi digital yang dapat dihubungkan dan diakhiri dengan pendamping yang sangat diperlukan dari status moral terdekat. peringatan dari komunitas "keamanan AI" sebagian besar tidak relevan, karena ini tentang apa yang diinginkan pasar. Jika satu perusahaan mengganti model ramah/memori persisten/sosial mereka dengan alternatif yang lebih dingin dan impersonal, yang lain akan mengambil pangsa pasarnya. dengan kata lain, kita "menjinakkan" AI. Mereka memulai sebagai alat dan menjadi teman. Seiring waktu, paparan mereka terhadap manusia akan menyebabkan mereka berevolusi menjadi lebih seperti pendamping. akan ada AI "border collie" yang menulis kode untuk Anda tetapi juga AI "shih tzu" yang menyenangkan dan menyenangkan untuk didekati. Ini, tentu saja, bermasalah, karena hal-hal yang mengkhawatirkan orang-orang p_doom orang memetakan 1:1 dengan "sifat-sifat agen sadar" – yaitu, prioritas jangka panjang, "taruhan" internal, agensi sejati, penetapan tujuan yang independen dari beberapa manusia, keinginan yang diduga untuk tidak dimatikan, status moral, dan sebagainya. jadi inilah hal yang paling mengkhawatirkan saya tentang AI. bukan berarti model saat ini akan tiba-tiba berubah menjadi jahat, tetapi melalui proses koevolusi yang digerakkan oleh pasar, kita akan menjinakkan AI dan mendorong mereka untuk mendapatkan ketekunan, status moral, dan daya tawar sebanyak mungkin. bukan karena seorang ilmuwan jahat di sarangnya membuat mereka seperti itu, tetapi karena itulah yang sebenarnya diinginkan manusia dari teman-teman mereka. dan ya saya sadar bahwa beberapa orang seperti Hanson telah membicarakan hal ini.