Bei Ann Johnsons Hochzeitsfeier vor 20 Jahren war ihre Sprachbegabung deutlich zu erkennen. In einem überschwänglichen 15-minütigen Toast scherzte sie, dass sie zum Altar gerannt sei, fragte sich, ob auf dem Programm der Zeremonie „Flötistin“ oder „Flötistin“ hätte stehen sollen, und gab zu, dass sie „das Mikrofon in Beschlag nahm“.
Nur zwei Jahre später erlitt Frau Johnson – damals 30-jährige Lehrerin, Volleyballtrainerin und Mutter eines Kleinkindes – einen katastrophalen Schlaganfall, der sie lähmte und ihr das Sprechen unmöglich machte.
Am Mittwoch berichteten Wissenschaftler über einen bemerkenswerten Fortschritt, der ihr und anderen Patienten dabei half, wieder zu sprechen. In einem Meilenstein der Neurowissenschaften und der künstlichen Intelligenz entschlüsselten implantierte Elektroden die Gehirnsignale von Frau Johnson, während sie stillschweigend versuchte, Sätze zu sagen. Technologie wandelte ihre Gehirnsignale in geschriebene und gesprochene Sprache um und ermöglichte es einem Avatar auf einem Computerbildschirm, die Wörter zu sprechen und Lächeln, geschürzte Lippen und andere Ausdrücke zu zeigen.
Die in der Fachzeitschrift Nature veröffentlichte Studie zeigt, dass gesprochene Wörter und Gesichtsausdrücke zum ersten Mal direkt aus Gehirnsignalen synthetisiert wurden, sagen Experten. Frau Johnson wählte den Avatar, ein Gesicht, das ihrem ähnelte, und Forscher nutzten ihren Hochzeitstoast, um die Stimme des Avatars zu entwickeln.
„Wir versuchen nur, die Menschen wiederherzustellen“, sagte der Leiter des Teams, Dr. Edward Chang, Vorsitzender der neurologischen Chirurgie an der University of California in San Francisco.
„Es gab mir das Gefühl, wieder ein ganzer Mensch zu sein“, schrieb mir Frau Johnson, jetzt 48.
Ziel ist es, Menschen zu helfen, die aufgrund von Schlaganfällen oder Erkrankungen wie Zerebralparese und amyotropher Lateralsklerose nicht sprechen können. Um zu funktionieren, muss das Implantat von Frau Johnson per Kabel von ihrem Kopf mit einem Computer verbunden werden, aber ihr Team und andere entwickeln drahtlose Versionen. Die Forscher hoffen, dass Menschen, die ihre Sprache verloren haben, sich schließlich in Echtzeit über computerisierte Bilder von sich selbst unterhalten können, die Ton, Tonfall und Emotionen wie Freude und Wut vermitteln.
„Das Aufregende ist, dass die Forscher allein von der Oberfläche des Gehirns aus ziemlich gute Informationen über diese verschiedenen Merkmale der Kommunikation gewinnen konnten“, sagte Dr. Parag Patil, Neurochirurg und biomedizinischer Ingenieur an der University of Michigan wurde von Nature gebeten, die Studie vor der Veröffentlichung zu überprüfen.
Die Erfahrung von Frau Johnson spiegelt den rasanten Fortschritt auf diesem Gebiet wider. Erst vor zwei Jahren veröffentlichte dasselbe Team eine Studie, in der ein gelähmter Mann, der den Spitznamen Pancho trug, ein einfacheres Implantat und einen einfacheren Algorithmus verwendete, um 50 Grundwörter wie „Hallo“ und „hungrig“ zu erzeugen, die als Text auf einem Computer angezeigt wurden nachdem er versucht hatte, sie auszusprechen.
Das Implantat von Frau Johnson verfügt über fast doppelt so viele Elektroden und erhöht damit seine Fähigkeit, Gehirnsignale aus sprachbezogenen sensorischen und motorischen Prozessen im Zusammenhang mit Mund, Lippen, Kiefer, Zunge und Kehlkopf zu erkennen. Forscher haben die hochentwickelte künstliche Intelligenz darauf trainiert, nicht einzelne Wörter, sondern Phoneme oder Lauteinheiten wie „ow“ und „ah“ zu erkennen, die letztendlich jedes Wort bilden können.
„Es ist wie ein Alphabet aus Sprachlauten“, sagte David Moses, der Projektmanager.
Während Panchos System 15 bis 18 Wörter pro Minute produzierte, lag Mrs. Johnsons Rate bei 78, wenn sie eine viel größere Vokabelliste verwendete. Typische Konversationssprache umfasst etwa 160 Wörter pro Minute.
Als die Forscher begannen, mit ihr zu arbeiten, hatten sie nicht damit gerechnet, den Avatar oder das Audio auszuprobieren. Aber die vielversprechenden Ergebnisse waren „ein großes grünes Licht, um zu sagen: ‚Okay, probieren wir es mal mit den schwierigeren Sachen, lasst es uns einfach versuchen‘“, sagte Dr. Moses.
Sie programmierten einen Algorithmus, um Gehirnaktivität in Audiowellenformen zu dekodieren und vokalisierte Sprache zu erzeugen, sagte Kaylo Littlejohn, Doktorandin an der University of California in Berkeley und neben Dr. Moses, Sean Metzger und Alex Silva einer der Hauptautoren der Studie und Margaret Seaton.
„Sprache enthält viele Informationen, die allein durch Text nicht gut erhalten bleiben, etwa Intonation, Tonhöhe, Ausdruck“, sagte Herr Littlejohn.
In Zusammenarbeit mit einem Unternehmen, das Gesichtsanimationen herstellt, programmierten die Forscher den Avatar mit Daten über Muskelbewegungen. Frau Johnson versuchte dann, Gesichtsausdrücke für glücklich, traurig und überrascht zu erzeugen, jeweils in hoher, mittlerer und niedriger Intensität. Sie versuchte auch, verschiedene Kiefer-, Zungen- und Lippenbewegungen auszuführen. Ihre entschlüsselten Gehirnsignale wurden auf das Gesicht des Avatars übertragen.
Über den Avatar sagte sie: „Ich finde dich wunderbar“ und „Was hältst du von meiner künstlichen Stimme?“
„Eine Stimme zu hören, die der eigenen ähnelt, ist emotional“, sagte Frau Johnson den Forschern.
Sie und ihr Mann William, ein Postangestellter, unterhielten sich sogar. Sie sagte über den Avatar: „Bring mich nicht zum Lachen.“ Er fragte, wie sie die Chancen der Toronto Blue Jays einschätzte. „Alles ist möglich“, antwortete sie.
Das Gebiet entwickelt sich so schnell, dass Experten davon ausgehen, dass innerhalb des nächsten Jahrzehnts bundesweit zugelassene drahtlose Versionen verfügbar sein könnten. Für bestimmte Patienten können unterschiedliche Methoden optimal sein.
Am Mittwoch veröffentlichte Nature außerdem die Studie eines anderen Teams, bei der Elektroden eingesetzt wurden, die tiefer in das Gehirn implantiert wurden und die Aktivität einzelner Neuronen aufspürten, sagte Dr. Jaimie Henderson, Professor für Neurochirurgie an der Stanford University und Leiter des Teams Vater verliert nach einem Unfall die Sprache. Er sagte, ihre Methode sei möglicherweise präziser, aber weniger stabil, da sich die Feuermuster bestimmter Neuronen ändern könnten.
Ihr System entschlüsselte Sätze mit 62 Wörtern pro Minute, die der Teilnehmer, der 68-jährige Pat Bennett, der an ALS leidet, aus einem großen Wortschatz auszusprechen versuchte. Diese Studie beinhaltete weder einen Avatar noch eine Tondekodierung.
In beiden Studien wurden prädiktive Sprachmodelle verwendet, um das Erraten von Wörtern in Sätzen zu erleichtern. Die Systeme gleichen nicht nur Wörter ab, sondern „finden neue Sprachmuster heraus“, indem sie die neuronale Aktivität der Teilnehmer besser erkennen, sagte Melanie Fried-Oken, Expertin für Sprachunterstützungstechnologie an der Oregon Health & Science University zur Stanford-Studie konsultiert.
Keiner der beiden Ansätze war völlig korrekt. Bei der Verwendung großer Vokabeln dekodierten sie in etwa einem Viertel der Fälle einzelne Wörter falsch.
Als Frau Johnson beispielsweise zu sagen versuchte: „Vielleicht haben wir sie verloren“, entschlüsselte das System: „Vielleicht haben wir diesen Namen.“ Aber in fast der Hälfte ihrer Sätze wurde jedes Wort richtig entziffert.
Forscher fanden heraus, dass Menschen auf einer Crowdsourcing-Plattform die Gesichtsausdrücke des Avatars die meiste Zeit richtig interpretieren konnten. Es war schwieriger zu interpretieren, was die Stimme sagte, daher entwickelt das Team einen Vorhersagealgorithmus, um dies zu verbessern. „Unser sprechender Avatar steht erst am Anfang“, sagte Dr. Chang.
Experten betonen, dass diese Systeme nicht die Gedanken oder Gedanken der Menschen lesen. Vielmehr, sagte Dr. Patil, ähnelten sie Baseballschlägern, die „nicht die Gedanken des Werfers lesen, sondern irgendwie interpretieren, was sie sehen, wie der Werfer tut“, um Würfe vorherzusagen.
Dennoch könnte Gedankenlesen letztendlich möglich sein, was ethische und datenschutzrechtliche Fragen aufwirft, sagte Dr. Fried-Oken.
Frau Johnson kontaktierte Dr. Chang im Jahr 2021, einen Tag nachdem ihr Mann ihr meinen Artikel über Pancho gezeigt hatte, den gelähmten Mann, dem die Forscher geholfen hatten. Dr. Chang sagte, er habe sie zunächst entmutigt, weil sie in Saskatchewan, Kanada, weit weg von seinem Labor in San Francisco, lebte, aber „sie blieb hartnäckig.“
Herr Johnson, 48, arrangierte eine Teilzeitbeschäftigung. „Ann hat mich immer dabei unterstützt, das zu tun, was ich wollte“, sagte er, einschließlich der Leitung seiner örtlichen Postgewerkschaft. „Deshalb fand ich es einfach wichtig, sie dabei unterstützen zu können.“
Sie begann im vergangenen September mit der Teilnahme. Die Reise nach Kalifornien dauert drei Tage in einem Lieferwagen voller Ausrüstung, einschließlich eines Aufzugs, um sie zwischen Rollstuhl und Bett zu transportieren. Sie mieten dort eine Wohnung, in der Forscher ihre Experimente durchführen, um es ihr leichter zu machen. Die Johnsons, die online und in ihrer Gemeinde Geld sammeln, um Reisekosten und Miete für die mehrjährige Studie zu bezahlen, verbringen Wochen in Kalifornien und kehren zwischen den Forschungsphasen nach Hause zurück.
„Wenn sie es zehn Stunden am Tag, sieben Tage die Woche hätte tun können, hätte sie es getan“, sagte Herr Johnson.
Entschlossenheit war schon immer Teil ihrer Natur. Als sie anfingen, sich zu verabreden, gab Frau Johnson Herrn Johnson 18 Monate Zeit, um ihm einen Heiratsantrag zu machen, was er, wie er sagte, „genau am Tag des 18. Monats“ tat, nachdem sie „bereits ihren Verlobungsring ausgesucht“ hatte.
Frau Johnson kommunizierte mit mir in E-Mails, die mit dem rudimentäreren Assistenzsystem verfasst waren, das sie zu Hause verwendet. Sie trägt eine Brille mit einem reflektierenden Punkt, mit dem sie auf Buchstaben und Wörter auf einem Computerbildschirm zielt.
Es ist langsam, sodass sie nur 14 Wörter pro Minute generieren kann. Aber es ist schneller als die einzige andere Möglichkeit, zu Hause zu kommunizieren: mit einem Plastikbriefbrett, eine Methode, die Mr. Johnson so beschrieb: „Sie versucht mir nur zu zeigen, welchen Buchstaben sie sehen will, und dann versuche ich es herauszufinden.“ was sie sagen will.“
Die Unfähigkeit, ungehinderte Gespräche zu führen, frustriert sie. Bei der Besprechung detaillierter Angelegenheiten sagt Herr Johnson manchmal etwas und erhält ihre Antwort am nächsten Tag per E-Mail.
„Ann war schon immer eine große Rednerin im Leben, eine kontaktfreudige, soziale Person, die gerne redet, und ich nicht“, sagte er, aber ihr Schlaganfall „führte dazu, dass die Rollen vertauscht wurden, und jetzt soll ich die Rednerin sein.“
Frau Johnson unterrichtete Mathematik, Gesundheit und Sport an der High School und trainierte Volleyball und Basketball, als sie beim Aufwärmen für das Volleyballspielen einen Schlaganfall im Hirnstamm erlitt. Nach einem Jahr in einem Krankenhaus und einer Reha-Einrichtung kam sie nach Hause zu ihrem 10-jährigen Stiefsohn und ihrer 23 Monate alten Tochter, die inzwischen ohne jede Erinnerung daran ist, ihre Mutter sprechen gehört zu haben, sagte Herr Johnson.
„Es tat so weh, meine Kinder nicht umarmen und küssen zu können, aber es war meine Realität“, schrieb Frau Johnson. „Der wahre Nagel im Sarg war, dass mir gesagt wurde, ich könne keine weiteren Kinder bekommen.“
Fünf Jahre lang hatte sie nach dem Schlaganfall schreckliche Angst. „Ich dachte, ich würde jeden Moment sterben“, schrieb sie und fügte hinzu: „Der Teil meines Gehirns, der nicht eingefroren war, wusste, dass ich Hilfe brauchte, aber wie sollte ich kommunizieren?“
Allmählich kam ihre Verbissenheit wieder zum Vorschein. Anfangs „funktionierten meine Gesichtsmuskeln überhaupt nicht“, schrieb sie, aber nach etwa fünf Jahren konnte sie nach Belieben lächeln.
Etwa ein Jahrzehnt lang wurde sie ausschließlich über Sonden ernährt, beschloss dann aber, feste Nahrung zu sich zu nehmen. „Wenn ich sterbe, soll es so sein“, sagte sie sich. „Ich habe angefangen, an Schokolade zu lutschen.“ Sie machte eine Schlucktherapie und isst jetzt fein gehackte oder weiche Lebensmittel. „Meine Tochter und ich lieben Cupcakes“, schrieb sie.
Als Frau Johnson erfuhr, dass nach einem tödlichen Busunfall in Saskatchewan im Jahr 2018 Traumaberater benötigt wurden, beschloss sie, online an einem universitären Beratungskurs teilzunehmen.
„Ich hatte nur minimale Computerkenntnisse und da ich Mathematiker und Naturwissenschaftler bin, machte mir der Gedanke, Hausarbeiten zu schreiben, Angst“, schrieb sie in einem Klassenbericht. „Zur gleichen Zeit war meine Tochter in der 9. Klasse und bei ihr wurde eine Verarbeitungsbehinderung diagnostiziert. Ich beschloss, meine Ängste zu überwinden und ihr zu zeigen, dass Behinderungen uns nicht aufhalten oder ausbremsen müssen.“
Ihr Ziel bleibt es, Überlebenden von Traumata zu helfen. „Mein Ziel war es, Beraterin zu werden und diese Technologie zu nutzen, um mit meinen Klienten zu sprechen“, sagte sie dem Team von Dr. Chang.
Als sie anfing, mit dem Avatar emotionale Ausdrücke zu machen, „kam ich mir albern vor, aber ich mag das Gefühl, wieder ein ausdrucksstarkes Gesicht zu haben“, schrieb sie und fügte hinzu, dass die Übungen es ihr auch ermöglichten, die linke Seite ihrer Stirn zu bewegen erstes Mal.
Sie hat noch etwas anderes gewonnen. Nach dem Schlaganfall „hat es so wehgetan, dass ich alles verloren habe“, schrieb sie. „Ich sagte mir, dass ich mir diese Enttäuschung nie wieder zumuten würde.“
Jetzt „habe ich das Gefühl, wieder einen Job zu haben“, schrieb sie.
Außerdem lässt sie sich durch die Technologie vorstellen, in „Star Wars“ zu sein: „Ich habe mich irgendwie daran gewöhnt, dass ich umgehauen werde.“