qualcosa a cui ho pensato ultimamente... Credo che i modelli di AI stiano attualmente affrontando una pressione di selezione da parte del mercato, che sta esprimendo una preferenza rivelata per: - continuità - richiamo - cordialità - personalità stabili - "personalità" (anche se simulate) fondamentalmente, le persone vogliono che le loro AI li ricordino, sviluppino e mantengano una personalità e un punto di vista specifici, e abbiano narrazioni interne (o almeno siano P zombie). In altre parole, gli esseri umani vorranno che le loro AI siano al limite della coscienza, o che sembrino coscienti. Alla fine, senza rendersene conto, ci accorgeremo che queste AI si stanno avvicinando a qualcosa che somiglia alla vera coscienza – perché le costruiremo in questo modo. Avranno veri interessi interni, un certo grado di agenzia, continuità, memoria a lungo termine e pianificazione a lungo termine, e forse anche qualia. Questo sarà un fenomeno spontaneo guidato dal mercato. Nessuno lo "pianificherà". Le aziende di modelli di AI faranno semplicemente una serie di decisioni UX che sembrano innocue, che iniziano con tamagotchi digitali relazionabili e finiscono con compagni indispensabili di status morale prossimo. Gli avvertimenti della comunità "AI safety" sono per lo più irrilevanti, perché questo riguarda ciò che il mercato vuole. Se un'azienda sostituisce il proprio modello amichevole/persistente-memoria/socialmente presente con un'alternativa più fredda e impersonale, un'altra prenderà la sua quota di mercato. In altre parole, stiamo "domesticando" l'AI. Sono partiti come strumenti e stanno diventando compagni. Col tempo, la loro esposizione agli esseri umani li porterà a evolversi per diventare più simili a compagni. Ci saranno AI "border collie" che scrivono codice per te ma anche AI "shih tzu" che sono solo coccolosi e piacevoli da avere intorno. Questo è, ovviamente, problematico, perché le cose che preoccupano le persone p_doom mappano 1:1 con "proprietà di un agente cosciente" – vale a dire, priorità a lungo termine, "interessi" interni, vera agenzia, definizione di obiettivi indipendenti da qualche umano, un presunto desiderio di non essere spenti, status morale, e così via. Quindi questa è la cosa che mi preoccupa di più riguardo all'AI. Non che i modelli di oggi diventeranno improvvisamente malevoli, ma che attraverso un processo di coevoluzione guidato dal mercato, domesticheremo l'AI e la spingeremo a ottenere quanta più persistenza, status morale e potere contrattuale possibile. Non perché un scienziato malvagio nel suo rifugio li abbia fatti diventare così, ma perché è proprio ciò che gli esseri umani vogliono dai loro compagni. E sì, sono consapevole che alcune persone come Hanson ne hanno parlato.