Algo em que tenho pensado ultimamente... Acredito que modelos de IA estão atualmente enfrentando pressão seletiva do mercado, que está expressando uma preferência revelada por: - continuidade - Recall - simpatia - personalidades estáveis - "Personalidade" (mesmo que simulada) basicamente, as pessoas querem que suas IAs se lembrem delas, desenvolvam e mantenham uma personalidade e ponto de vista específicos, e tenham narrativas internas (ou pelo menos sejam zumbis P). em outras palavras, os humanos vão querer que suas IAs sejam quase conscientes, ou que pareçam conscientes. eventualmente, sem percebermos, notaremos que essas IAs estão se aproximando de algo que se assemelha à consciência real – porque nós as construiremos dessa forma. Eles terão riscos internos reais, um grau de agência, continuidade, memória de longo prazo e planejamento de longo prazo, e talvez até qualia. Isso será um fenômeno espontâneo impulsionado pelo mercado. Ninguém vai "planejar" isso. Empresas de modelos de IA apenas tomam uma série de decisões de UX aparentemente inocentes que começam com tamagotchis digitais relacionáveis e terminam com companheiros indispensáveis de status moral próximo. Os alertas da comunidade de "segurança da IA" são em sua maioria irrelevantes, porque isso é sobre o que o mercado quer. Se uma empresa substituir seu modelo amigável/memória persistente/socialmente presente por uma alternativa mais fria e impessoal, outra tomará sua fatia de mercado. em outras palavras, estamos "domesticando" a IA. Eles começaram como ferramentas e estão se tornando companheiros. Com o tempo, a exposição deles aos humanos fará com que evoluam para se tornarem mais parecidos com companheiros. Haverá IAs "border collie" que escrevem código para você, mas também IAs "shih tzu", que são simplesmente fofas e agradáveis de se conviver. Isso é, claro, problemático, porque as coisas que preocupam as pessoas p_doom pessoas são 1:1 com "propriedades de um agente consciente" – ou seja, prioridades de longo prazo, "apostas" internas, verdadeira agência, definição de metas independentes de algum ser humano, um suposto desejo de não se desligar, status moral, e assim por diante. então isso é o que mais me preocupa sobre a IA. não que os modelos atuais de repente se tornem malévolos, mas que, por meio de um processo de coevolução orientada pelo mercado, vamos domesticar a IA e forçá-la a obter o máximo de persistência, status moral e poder de negociação possível. Não porque um cientista maligno em seu covil os tenha feito assim, mas porque é exatamente isso que os humanos realmente querem de seus companheiros. e sim, sei que algumas pessoas como Hanson já falaram sobre isso.