Katja Graces Wohnung in West Berkeley liegt in einer alten Maschinenfabrik mit Satteldächern und Fenstern in seltsamen Winkeln. Es verfügt über Terrakottaböden und keine Zentralheizung, was den Eindruck erwecken kann, als wären Sie aus der kalifornischen Sonne an einen dunkleren Ort getreten, irgendwo vor langer Zeit oder in weiter Ferne. Dennoch gibt es auch einige dezent futuristische Akzente. In den Ecken brummen leistungsstarke Luftreiniger. In der Speisekammer stapeln sich haltbare Waren. Ein elegantes weißes Gerät, das RNA-Tests in Laborqualität durchführt. Die Art von Objekten, die eine Zukunft der technologiegestützten Leichtigkeit oder einer Zukunft ständiger Wachsamkeit bedeuten könnten.
Grace, die leitende Forscherin einer gemeinnützigen Organisation namens AI Impacts, beschreibt ihren Job als „Darüber nachdenken, ob KI die Welt zerstören wird“. Sie verbringt ihre Zeit damit, theoretische Arbeiten und Blogbeiträge zu komplizierten Entscheidungen im Zusammenhang mit einem aufstrebenden Teilgebiet namens KI-Sicherheit zu schreiben. Sie lächelt nervös, teilt zu viel mit, murmelt ein wenig; Sie ist in ihren Dreißigern, sieht aber fast wie ein Teenager aus, mit Mittelscheitel und rundem, offenem Gesicht. Die Wohnung ist vollgestopft mit Büchern, und als ein Freund von Grace an einem Nachmittag im November vorbeikam, blickte er eine Weile amüsiert, aber nicht wertend, auf einige Buchrücken: „Jüdische Scheidungsethik“, „Der jüdische Weg im Tod“. und Trauer“, „Der Tod des Todes“. Grace ist, soweit sie weiß, weder Jüdin noch stirbt sie. Sie ließ die Zweideutigkeit einen Moment lang bestehen. Dann erklärte sie: Ihr Vermieter habe gewollt, dass die Besitztümer des früheren Bewohners, seiner kürzlich verstorbenen Ex-Frau, unversehrt blieben. „Ehrlich gesagt, eine Art Erleichterung“, sagte Grace. „Eine Reihe von Entscheidungen, die ich nicht treffen muss.“
Sie verbrachte den Nachmittag damit, das Abendessen für sechs Personen vorzubereiten: einen Joghurt-Gurken-Salat und Impossible-Rindfleischgyros. An einer Ecke eines Whiteboards hatte sie ihre Vorbereitungsaufgaben in akribisch kleine Schritte aufgeteilt („Salat hacken“, „Salat mischen“, „Fleisch formen“, „Fleisch kochen“); An anderen Stellen des Whiteboards hatte sie weitere gnomische Aufforderungen geschrieben („Essensbereich“, „Gegenstände“, „Substanzen“). Ihr Freund, ein Kryptograph bei Android namens Paul Crowley, trug ein schwarzes T-Shirt und schwarze Jeans und hatte schwarz gefärbte Haare. Ich fragte, woher sie sich kannten, und er antwortete: „Oh, unsere Wege haben sich als Teil der Szene schon seit Jahren gekreuzt.“
Man ging davon aus, dass mit „der Szene“ ein paar miteinander verflochtene Subkulturen gemeint waren, die für ihre erschöpfenden Debatten über unbekannte Themen (sichere DNA-Synthese, Garnelenschutz) bekannt waren, die ihre Mitglieder für wesentlich halten, von denen die meisten normalen Menschen aber nichts wissen. Eine dieser Fragen ist seit etwa zwei Jahrzehnten, ob künstliche Intelligenz die Menschheit erheben oder ausrotten wird. Pessimisten werden KI-Sicherheitsforscher oder Entschleuniger genannt – oder, wenn sie besonders in Panik geraten, KI-Doomer. Sie finden einander online und leben oft zusammen in Gruppenhäusern in der Bay Area, manchmal sind sie sogar gemeinsame Eltern und unterrichten ihre Kinder gemeinsam zu Hause. Vor dem Dotcom-Boom waren die Viertel Alamo Square und Hayes Valley mit ihren pastellfarbenen viktorianischen Reihenhäusern mit biederer Häuslichkeit verbunden. Letztes Jahr nannte der San Francisco Standard das Gebiet in Anspielung auf KI-„Hackerhäuser“ halbironisch Cerebral Valley.
Ein Lager von Techno-Optimisten weist den KI-Doomerismus mit dem altmodischen libertären Boomerismus zurück und besteht darauf, dass das ganze Händeringen über existenzielle Risiken eine Art Massenhysterie sei. Sie nennen sich selbst „effektive Akzelerationisten“ oder e/accs (ausgesprochen „e-acks“) und glauben, dass KI eine utopische Zukunft einläuten wird – interstellare Reisen, das Ende der Krankheit –, solange die Besorgniserregenden aus dem Weg gehen . In den sozialen Medien trollen sie Weltuntergangspropheten als „Decels“, „Psyops“, „im Grunde genommen Terroristen“ oder, was am schlimmsten ist, als „regulierungsliebende Bürokraten“. „Wir müssen den Göttern das Feuer der Intelligenz stehlen [and] Nutzen Sie es, um die Menschheit zu den Sternen zu befördern“, twitterte kürzlich ein führender e/acc. (Und dann gibt es noch die Normalbürger, die irgendwo anders als in der Bay Area oder im Internet ansässig sind und die Debatte größtenteils ausgeblendet haben, indem sie sie auf Science-Fiction-Rauchschnüffeln oder heiße Unternehmensluft zurückführen.)
Graces Dinnerpartys, halbunterirdische Treffen für Doomer und Doomer-Neugierige, wurden als „ein Knotenpunkt der KI-Szene der Bay Area“ beschrieben. Bei Zusammenkünften wie diesen ist es nicht ungewöhnlich, dass jemand ein Gespräch mit der Frage beginnt: „Was sind Ihre Zeitpläne?“ oder „Was ist dein Untergang?“ Zeitleisten sind Vorhersagen darüber, wie schnell die KI bestimmte Benchmarks erfüllen wird, etwa das Schreiben eines Top-40-Popsongs, einen mit dem Nobelpreis ausgezeichneten wissenschaftlichen Durchbruch oder das Erreichen künstlicher allgemeiner Intelligenz, den Punkt, an dem eine Maschine jede kognitive Aufgabe erledigen kann, die ein Mensch kann Tun. (Einige Experten glauben, dass AGI unmöglich ist oder noch Jahrzehnte entfernt ist; andere gehen davon aus, dass es dieses Jahr eintrifft.) P(doom) ist die Wahrscheinlichkeit, dass KI, wenn sie intelligenter wird als Menschen, sie absichtlich oder aus Versehen vernichtet jeder auf dem Planeten. Selbst in Kreisen der Bay Area wurden solche spekulativen Gespräche jahrelang an den Rand gedrängt. Nachdem OpenAI letztes Jahr ChatGPT herausgebracht hatte, ein Sprachmodell, das unheimlich natürlich klingen konnte, gelangten sie plötzlich in den Mainstream. Mittlerweile arbeiten ein paar hundert Menschen Vollzeit daran, die Welt vor der KI-Katastrophe zu retten. Einige beraten Regierungen oder Unternehmen bei ihrer Politik; einige arbeiten an technischen Aspekten der KI-Sicherheit und betrachten sie als eine Reihe komplexer mathematischer Probleme; Grace arbeitet in einer Art Denkfabrik, die Forschung zu „hochrangigen Fragen“ erstellt, wie zum Beispiel „Welche Rollen werden KI-Systeme in der Gesellschaft spielen?“ und „Werden sie ‚Ziele‘ verfolgen?“ Wenn sie nicht gerade in Washington Lobbyarbeit betreiben oder sich auf einer internationalen Konferenz treffen, kreuzen sich ihre Wege oft an Orten wie Graces Wohnzimmer.
Der Rest ihrer Gäste traf nacheinander ein: eine Autorität auf dem Gebiet der Quanteninformatik; ein ehemaliger OpenAI-Forscher; der Leiter eines Instituts, das die Zukunft vorhersagt. Grace bot Wein und Bier an, aber die meisten Leute entschieden sich für alkoholfreie Dosengetränke, die sich jeder einfachen Beschreibung entzogen (ein fermentiertes Energy-Drink, ein „Hopfentee“). Sie brachten ihre Impossible-Gyros zu Graces Sofa, wo sie bis Mitternacht redeten. Sie waren höflich, unangenehm und überraschend geduldig, wenn es darum ging, grundlegende Annahmen zu überdenken. „Man kann den Kern der Sorge, so scheint es mir, in einer wirklich einfachen zweistufigen Argumentation zusammenfassen“, sagte Crowley. „Schritt eins: Wir bauen Maschinen, die möglicherweise wesentlich intelligenter werden als wir. Schritt zwei: Das scheint ziemlich gefährlich zu sein.“
„Sind wir aber sicher?“ sagte Josh Rosenberg, der CEO des Forecasting Research Institute. „Dass Intelligenz per se gefährlich ist?“
Grace stellte fest, dass nicht alle intelligenten Arten eine Bedrohung darstellen: „Es gibt Elefanten, und dennoch scheint es den Mäusen immer noch gut zu gehen.“
„Kaninchen sind sicherlich intelligenter als Myxomatose“, sagte Michael Nielsen, der Quantencomputer-Experte.
Crowleys p(doom) lag „deutlich über achtzig Prozent“. Die anderen, die davor zurückschreckten, sich auf eine Zahl festzulegen, beugten sich vor Grace, die sagte, dass sie „angesichts meiner tiefen Verwirrung und Unsicherheit darüber – was meiner Meinung nach fast jeder hat, zumindest jeder, der ehrlich ist“, ihre Meinung nur eingrenzen konnte. Untergang) auf „zwischen zehn und neunzig Prozent“. Dennoch, so fuhr sie fort: „Eine Wahrscheinlichkeit von zehn Prozent, dass die Menschheit ausstirbt, ist, wenn man es ernst nimmt, offensichtlich unannehmbar hoch.“
Sie waren sich einig, dass unter den Tausenden von Reaktionen auf ChatGPT eine der erfrischendsten, offenen Einschätzungen von Snoop Dogg während eines Bühneninterviews kam. Crowley holte das Protokoll hervor und las es laut vor. „Das ist nicht sicher, denn die KIs haben ihre eigenen Gedanken und diese Wichser werden anfangen, ihre eigene Scheiße zu machen“, sagte Snoop und paraphrasierte damit ein KI-Sicherheitsargument. „Scheiße, was zum Teufel?“ Crowley lachte. „Ich muss zugeben, das trifft den emotionalen Tenor viel besser als meine zweistufige Argumentation“, sagte er. Und dann, als wollte er den Moment der Leichtfertigkeit rechtfertigen, las er ein weiteres Zitat vor, dieses aus einem Aufsatz von C. S. Lewis aus dem Jahr 1948: „Wenn wir alle durch eine Atombombe zerstört werden, soll die Bombe uns finden, wenn sie kommt.“ Vernünftige und menschliche Dinge tun – beten, arbeiten, unterrichten, lesen, Musik hören, die Kinder baden, Tennis spielen, mit unseren Freunden bei einem Pint oder einer Partie Darts plaudern – und nicht zusammengedrängt wie verängstigte Schafe.“
Grace arbeitete früher für Eliezer Yudkowsky, einen bärtigen Mann mit Fedora, gereiztem Auftreten und einer Erfolgsquote von neunundneunzig Prozent. Er wuchs in Chicago als orthodoxer Jude auf, brach die Schule nach der achten Klasse ab, brachte sich selbst Infinitesimalrechnung und Atheismus bei, begann zu bloggen und machte sich Anfang der 2000er Jahre auf den Weg in die Bay Area. Zu seinen bekanntesten Werken gehören „Harry Potter und die Methoden der Rationalität“, eine Fanfiction mit mehr als sechshunderttausend Wörtern, und „The Sequences“, eine gigantische Reihe von Essays darüber, wie man sein Denken schärft. Das informelle Kollektiv, das um diese Schriften herum entstand – zuerst in den Kommentaren, dann in der physischen Welt – wurde als „rationalistische Gemeinschaft“ bekannt, eine kleine Subkultur, die sich der Vermeidung „der typischen Versagensarten der menschlichen Vernunft“ widmete, oft durch Argumentation von Grundprinzipien oder Quantifizierung potenzieller Risiken. Nathan Young, ein Software-Ingenieur, erzählte mir: „Ich erinnere mich, dass Eliezer, der als schwerer Kerl bekannt war, auf der Bühne einer rationalistischen Veranstaltung die Menge gebeten hat, vorherzusagen, ob er eine Menge Gewicht verlieren könnte. Dann die große Enthüllung: Er öffnet den Reißverschluss des dicken Anzugs, den er trug. Er hatte bereits abgenommen. Ich denke, sein angeblicher Standpunkt bezog sich auf die Schwierigkeit, die Zukunft vorherzusagen, aber vor allem erinnere ich mich, dass ich dachte: „Was für eine absolute Legende.“
Yudkowsky war ein Transhumanist: Zu seinen Lebzeiten sollten menschliche Gehirne in digitale Gehirne hochgeladen werden, und das waren großartige Neuigkeiten. Er erzählte mir kürzlich, dass „Eliezer im Alter von 16 bis 20 Jahren“ davon ausgegangen sei, dass KI „für immer allen großen Spaß bereiten würde, und wollte, dass sie so schnell wie möglich entwickelt wird.“ Im Jahr 2000 war er Mitbegründer des Singularity Institute for Artificial Intelligence, um die KI-Revolution voranzutreiben. Dennoch beschloss er, eine Due-Diligence-Prüfung durchzuführen. „Ich habe nicht verstanden, warum eine KI jeden töten würde, aber ich fühlte mich gezwungen, die Frage systematisch zu untersuchen“, sagte er. „Als ich das tat, dachte ich: Oh, ich glaube, ich habe mich geirrt.“ Er schrieb ausführliche Weißbücher darüber, wie KI uns alle auslöschen könnte, aber seine Warnungen blieben unbeachtet. Schließlich benannte er seine Denkfabrik in Machine Intelligence Research Institute um MIRI.
Die existenzielle Bedrohung durch KI gehörte schon immer zu den zentralen Themen der Rationalisten, doch um 2015 entwickelte sie sich nach einer rasanten Reihe von Fortschritten im maschinellen Lernen zum dominierenden Thema. Einige Rationalisten standen in Kontakt mit Oxford-Philosophen, darunter Toby Ord und William MacAskill, den Gründern der Bewegung des effektiven Altruismus, die untersuchten, wie man der Menschheit am meisten Gutes tun kann (und im weiteren Sinne, wie man ihr Ende verhindern kann). Die Grenzen zwischen den Bewegungen verschwimmen zunehmend. Yudkowsky, Grace und ein paar andere flogen um die Welt zu EA-Konferenzen, wo man über KI-Risiken sprechen konnte, ohne ausgelacht zu werden.
Untergangsphilosophen neigen dazu, sich auf ausgefeilte Science-Fiction-Hypothesen einzulassen. Grace machte mich mit Joe Carlsmith bekannt, einem in Oxford ausgebildeten Philosophen, der gerade einen Artikel über „intrigen KIs“ veröffentlicht hatte, die ihre menschlichen Betreuer davon überzeugen könnten, dass sie in Sicherheit sind, und dann die Macht übernehmen könnten. Er lächelte verschämt, als er ein Gedankenexperiment erläuterte, bei dem eine hypothetische Person gezwungen wird, eine Million Jahre lang Ziegelsteine in einer Wüste zu stapeln. „Das kann eine Menge sein, das ist mir klar“, sagte er. Yudkowsky argumentiert, dass eine superintelligente Maschine uns als Bedrohung sehen und beschließen könnte, uns zu töten (beispielsweise indem sie bestehende autonome Waffensysteme beschlagnahmt oder ein eigenes baut). Oder unser Untergang könnte „nebenbei“ geschehen: Sie bitten einen Supercomputer, seine eigene Verarbeitungsgeschwindigkeit zu verbessern, und er kommt zu dem Schluss, dass der beste Weg, dies zu tun, darin besteht, alle Atome in der Nähe in Silizium umzuwandeln, einschließlich der Atome, die derzeit Menschen sind. Aber die grundlegenden Argumente für die KI-Sicherheit erfordern nicht die Vorstellung, dass sich die aktuelle Generation der Verizon-Chatbots plötzlich in Skynet verwandeln wird, den digitalen Superschurken aus „Terminator“. Um gefährlich zu sein, muss AGI nicht empfindungsfähig sein oder unsere Zerstörung wünschen. Wenn seine Ziele im Widerspruch zum menschlichen Wohlergehen stehen, und sei es auch nur auf subtile Weise, dann sind wir, sagen die Untergangsverschwörer, am Arsch.