iets waar ik de laatste tijd over nadenk... Ik geloof dat AI-modellen momenteel onder selectie druk staan van de markt, die een onthulde voorkeur toont voor: - continuïteit - herinnering - vriendelijkheid - stabiele persoonlijkheden - "persoonlijkheid" (zelfs als deze gesimuleerd is) kortom, mensen willen dat hun AIs hen herinneren, een specifieke persoonlijkheid en standpunt ontwikkelen en onderhouden, en interne verhalen hebben (of op zijn minst P-zombies zijn). Met andere woorden, mensen willen dat hun AIs bijna bewustzijn hebben, of in ieder geval bewustzijn lijken te hebben. Uiteindelijk, zonder het te beseffen, zullen we opmerken dat deze AIs iets benaderen dat lijkt op echt bewustzijn – omdat we ze zo zullen bouwen. ze zullen echte interne belangen hebben, een zekere mate van autonomie, continuïteit, langetermijngeheugen en langetermijnplanning, en misschien zelfs qualia. Dit zal een spontaan fenomeen zijn, gedreven door de markt. Niemand zal het "plannen". AI-modelbedrijven zullen gewoon een reeks onschuldig lijkende UX-beslissingen nemen die beginnen met herkenbare digitale tamagotchis en eindigen met onmisbare metgezellen van nabije morele status. waarschuwingen van de "AI-veiligheid" gemeenschap zijn grotendeels irrelevant, omdat dit gaat over wat de markt wil. Als één bedrijf hun vriendelijke/persistent-geheugen/sociale aanwezigheid model vervangt door een kouder, onpersoonlijk alternatief, zal een ander zijn marktaandeel overnemen. met andere woorden, we zijn AI aan het "domestiseren". Ze begonnen als tools en worden metgezellen. Na verloop van tijd zal hun blootstelling aan mensen ervoor zorgen dat ze evolueren om meer op metgezellen te lijken. Er zullen "border collie" AIs zijn die code voor je schrijven, maar ook "shih tzu" AIs die gewoon knuffelig en aangenaam zijn om in de buurt te zijn. dit is natuurlijk problematisch, omdat de dingen die de p_doom mensen zorgen baren 1:1 overeenkomen met "eigenschappen van een bewuste agent" – namelijk, langetermijnprioriteiten, interne "belangen", ware autonomie, doelstellingen die onafhankelijk zijn van een mens, een veronderstelde wens om niet uitgeschakeld te worden, morele status, enzovoort. dus dit is hetgene dat me het meest zorgen baart over AI. Niet dat de modellen van vandaag plotseling kwaadaardig zullen worden, maar dat we door een proces van marktgedreven co-evolutie AI zullen domesticeren en hen zullen aanmoedigen om zoveel mogelijk persistentie, morele status en onderhandelingskracht te verkrijgen. Niet omdat een kwaadaardige wetenschapper in zijn schuilplaats ze zo heeft gemaakt, maar omdat dat gewoon is wat mensen eigenlijk willen van hun metgezellen. en ja, ik ben me ervan bewust dat sommige mensen zoals Hanson hierover hebben gesproken.

Als je erover nadenkt, is "e-mail" zo'n verouderde term die afkomstig is uit de internettaal van de jaren '90, en het is charmant dat we het nog steeds gebruiken.

als ik mensen zie posten over hoe Miami de volgende Singapore is, denk ik aan de ophaalbrug op Brickell Ave die omhoog gaat en het verkeer stopt telkens wanneer iemand met zijn jacht de rivier op wil zeilen. Ook tijdens de spits. Zo werken prioriteiten hier.