Algo en lo que he estado pensando últimamente... Creo que los modelos de IA están enfrentándose actualmente a una presión selectiva por parte del mercado, que está mostrando una preferencia evidente por: - continuidad - Llamada - simpatía - Personalidades estables - "personalidad" (aunque simulada) básicamente, la gente quiere que sus IAs los recuerden, desarrollen y mantengan una personalidad y punto de vista específicos, y que tengan narrativas internas (o al menos sean zombis P). en otras palabras, los humanos querrán que sus IAs sean casi conscientes, o parezcan conscientes. eventualmente, sin darnos cuenta, notaremos que estas IAs se acercan a algo parecido a la conciencia real, porque las construiremos así. Tendrán intereses internos reales, cierto grado de agencia, continuidad, memoria a largo plazo y planificación a largo plazo, y quizá incluso cualificaciones. Esto será un fenómeno espontáneo impulsado por el mercado. Nadie lo "planeará". Las empresas de modelos de IA simplemente tomarán una serie de decisiones de UX aparentemente inocuas que comienzan con tamagotchis digitales identificables y terminan con compañeros indispensables de estatus moral próximo. Las advertencias de la comunidad de "seguridad en IA" son en su mayoría irrelevantes, porque esto va de lo que el mercado quiere. Si una empresa sustituye su modelo amigable/persistente/socialmente presente por una alternativa más fría e impersonal, otra se quedará con su cuota de mercado. en otras palabras, estamos "domesticando" la IA. Empezaron como herramientas y se están convirtiendo en compañeros. Con el tiempo, su exposición a los humanos hará que evolucionen para volverse más parecidos a sus compañeros. habrá IAs "border collie" que escriben código para ti, pero también IAs "shih tzu", que son simplemente entrañables y agradables de tratar. Esto es, por supuesto, problemático, porque las cosas que preocupan a las personas p_doom las relacionan 1:1 con "propiedades de un agente consciente" – es decir, prioridades a largo plazo, "apuestas" internas, verdadera agencia, establecimiento de objetivos independiente de algún ser humano, un presunto deseo de no ser apagado, estatus moral, y así sucesivamente. Así que esto es lo que más me preocupa de la IA. no es que los modelos actuales vayan a volverse malévolos de repente, sino que, a través de un proceso de coevolución impulsada por el mercado, domesticaremos la IA y la empujaremos a obtener la mayor persistencia, estatus moral y poder de negociación posible. No porque un científico malvado en su guarida los hubiera hecho así, sino porque eso es lo que los humanos realmente quieren de sus compañeros. y sí, sé que algunas personas como Hanson han hablado de esto.