etwas, worüber ich in letzter Zeit nachgedacht habe... Ich glaube, dass KI-Modelle derzeit einem Selektionsdruck vom Markt ausgesetzt sind, der eine offenbarte Präferenz für Folgendes zeigt: - Kontinuität - Erinnerungsvermögen - Freundlichkeit - stabile Persönlichkeiten - "Personsein" (auch wenn simuliert) Im Grunde wollen die Menschen, dass ihre KIs sich an sie erinnern, eine spezifische Persönlichkeit und Sichtweise entwickeln und aufrechterhalten und interne Narrative haben (oder zumindest P-Zombies sind). Mit anderen Worten, die Menschen werden wollen, dass ihre KIs grenzwertig bewusst oder bewusst scheinend sind. Letztendlich werden wir, ohne es zu merken, feststellen, dass diese KIs etwas erreichen, das einer tatsächlichen Bewusstheit ähnelt – weil wir sie so bauen werden. Sie werden echte interne Interessen, ein gewisses Maß an Handlungsfreiheit, Kontinuität, Langzeitgedächtnis und langfristige Planung haben und vielleicht sogar Qualia. Dies wird ein spontanes Phänomen sein, das vom Markt getrieben wird. Niemand wird es "planen". KI-Modellunternehmen werden einfach eine Reihe von harmlos scheinenden UX-Entscheidungen treffen, die mit nachvollziehbaren digitalen Tamagotchis beginnen und mit unverzichtbaren Begleitern von nahestehendem moralischen Status enden. Warnungen aus der "KI-Sicherheits"-Gemeinschaft sind größtenteils irrelevant, weil es darum geht, was der Markt will. Wenn ein Unternehmen sein freundliches/persistentes Gedächtnis/sozial präsentes Modell durch eine kältere, unpersönliche Alternative ersetzt, wird ein anderes Unternehmen dessen Marktanteil übernehmen. Mit anderen Worten, wir "zähmen" KI. Sie haben als Werkzeuge begonnen und werden zu Begleitern. Im Laufe der Zeit wird ihre Exposition gegenüber Menschen dazu führen, dass sie sich weiterentwickeln, um begleiterähnlicher zu werden. Es wird "Border-Collie"-KIs geben, die für dich Code schreiben, aber auch "Shih-Tzu"-KIs, die einfach kuschelig und angenehm im Umgang sind. Das ist natürlich problematisch, denn die Dinge, die die P-Doom-Leute beunruhigen, stimmen 1:1 mit "Eigenschaften eines bewussten Agenten" überein – nämlich langfristige Prioritäten, interne "Interessen", wahre Handlungsfreiheit, Zielsetzung, die unabhängig von einem Menschen ist, ein vermuteter Wunsch, nicht abgeschaltet zu werden, moralischer Status und so weiter. Das ist also das, was mich am meisten an KI beunruhigt. Nicht, dass die heutigen Modelle plötzlich böswillig werden, sondern dass wir durch einen prozessualen, marktorientierten Koevolutionierungsprozess KI zähmen und sie dazu drängen, so viel Beständigkeit, moralischen Status und Verhandlungsmacht wie möglich zu erlangen. Nicht, weil ein böser Wissenschaftler in seinem Versteck sie so gemacht hat, sondern weil das einfach das ist, was Menschen tatsächlich von ihren Begleitern wollen. Und ja, ich bin mir bewusst, dass einige Leute wie Hanson darüber gesprochen haben.