Außer, dass Pink Floyd keinen Teil der Musik im Clip gespielt hat. Stattdessen wurde der Titel von einem Forscherteam der University of California in Berkeley erstellt, das die Gehirnaktivität von mehr als zwei Dutzend Menschen untersuchte, die das Lied hörten. Diese Daten wurden dann von einem maschinellen Lernmodell entschlüsselt und in Audio rekonstruiert – das war das erste Mal, dass Forscher ein Lied aus neuronalen Signalen nachbilden konnten.
Auf diese Weise hoffen die Wissenschaftler, eines Tages eine ähnliche Technologie nutzen zu können, um Patienten mit Sprachbehinderungen bei der Kommunikation mit anderen zu helfen – und gleichzeitig mehr Daten darüber zu sammeln, wie das Gehirn Geräusche und Musik verarbeitet, so eine am Dienstag in der Fachzeitschrift PLOS Biology veröffentlichte Studie.
„Musik fügt der Sprache emotionalere und melodischere Elemente hinzu“, sagte Robert Knight, Neurowissenschaftler an der UC-Berkeley und Autor der Studie. „Zu verstehen, wie es im Gehirn verarbeitet wird und wie wir es entschlüsseln können, ist also wirklich wie der erste Baustein in der Wand.“
Wie Gehirnwellen genutzt werden könnten, um eine unheimlich ähnliche Version eines Pink-Floyd-Songs zu erschaffen, ist ein Prozess, der 2009 in einem Krankenhaus in Albany, New York, begann. Dort befanden sich 29 Patienten, die sich einer Epilepsiebehandlung unterzogen – nämlich der Implantation eines Netzes aus Elektroden ihr Gehirn, um den Ort arzneimittelresistenter Anfälle zu identifizieren – sie meldeten sich freiwillig dazu, ihre Gehirnaktivität während der Wiedergabe von „Another Brick in the Wall, Teil 1“ aufzeichnen zu lassen.
Die scheinbar alltägliche Aktivität des Musikhörens ist in Wirklichkeit ein komplexer Prozess. Geräusche bzw. Vibrationen, die sich als Wellen durch die Luft bewegen, gelangen in das Innenohr, wo sie in ein elektrisches Signal umgewandelt werden, das an das Gehirn gesendet wird, ein Organ, das mit Strom betrieben wird. Sobald der Klang das Gehirn erreicht, schießen Neuronen über verschiedene Teile nach oben, um jeden Text, jede Melodie und jeden Rhythmus zu entschlüsseln.
Die mit den Gehirnen der Patienten verbundenen Elektroden hätten den Wissenschaftlern Einblick in diesen Prozess gegeben, sagte Knight, der die Drähte mit „Klaviertasten“ verglich.
„Wir versuchen zu entschlüsseln, wie diese Klaviertaste durch den eingehenden Klang aktiviert wird, in diesem Fall von Pink Floyd“, sagte er. „Jetzt haben wir also alle diese Elektroden – etwa 92 pro Forschungssubjekt – und wir nutzen all diese Daten, um zu wissen, wie jede Musiknote oder wie der Rhythmus im Pink Floyd-Lied in jeder dieser Elektroden beeinflusst wird.“
Die Entscheidung, einen Song von Pink Floyd zu verwenden, sei einfach gewesen, sagte Knight. Jeder Patient, den sie untersuchten, mochte Pink Floyd, sagte er. Und sie entschieden sich für „Another Brick in the Wall, Teil 1“ – anstelle des bekannteren Teils 2 – weil es „etwas reicher an Gesang und Obertönen“ ist, fügte Knight hinzu.
Von 2009 bis 2015 wurden Veränderungen in der Gehirnaktivität der 29 Patienten in einen riesigen Datensatz umgewandelt. Aber das Projekt wurde fast ein Jahrzehnt lang auf Eis gelegt – bis ein neuer Postdoktorand, der in einer Band gespielt hatte, sich Knights Team anschloss und anbot, es zu entschlüsseln.
Ludovic Bellier, ein lebenslanger Musiker und jetzt leitender Computerforschungswissenschaftler beim Biotech-Unternehmen Inscopix, sagte, er sei bestrebt, ein Projekt zu leiten, das seine beiden Leidenschaften vereint. Als er begann, die Datenberge zu analysieren, sagte er, er habe etwas „absolut Faszinierendes“ gefunden: Als die Sechzehntelnoten des Gitarrenrhythmus des Liedes erklangen, feuerten bestimmte Teile der Schläfenlappen der Patienten ab.
„Das hatte man noch nie zuvor gesehen“, sagte Bellier.
Sie konzentrierten sich auf eine Region des Gehirns direkt über und hinter dem Ohr, die hauptsächlich für die Verarbeitung von Geräuschen verantwortlich ist und als Gyrus temporalis superior bezeichnet wird. Dieser Bereich – insbesondere auf der rechten Seite – war besonders aktiv, als Patienten das Lied von Pink Floyd hörten, was darauf hindeuten könnte, dass die Stelle im Gehirn für die Wahrnehmung von Rhythmus verantwortlich ist, sagte Bellier.
„Wenn Sie nur ein paar Elektroden haben, sollten Sie sie dort platzieren“, fügte er hinzu. „Das ist die vielversprechendste Region, um die musikalischen Informationen zu verstehen.“
Anschließend wurden die von Bellier berechneten Zahlen mithilfe von KI in Musik umgewandelt – einem leistungsstarken Modell für maschinelles Lernen, das berücksichtigte, wie das Gehirn auf eine Kombination von Schallfrequenzen reagierte. Die Muster wurden in ein Spektrogramm oder eine visuelle Darstellung der Frequenzen eines Klangs und ihrer Veränderung im Laufe der Zeit umgewandelt – und dann in eine Klangdatei, die stark an den Originalsong von Pink Floyd erinnerte.
Die Forschung könnte zu neuen medizinischen Behandlungen für diejenigen führen, die ihre Kommunikationsfähigkeit verloren haben, sagten Knight und Bellier. Während Wissenschaftler Fortschritte bei der Entwicklung von Maschinen gemacht haben, die Gehirnsignale in Gesang umwandeln, haben spracherzeugende Geräte oft einen Roboterklang – und die neue Studie könnte dazu beitragen, das zu ändern, sagte Knight.
„Musik mit ihren komplexen und starken emotionalen und rhythmischen Elementen würde es uns ermöglichen, diese Ausdruckskraft hinzuzufügen“, sagte er.
Die Studie, fügte Bellier hinzu, eröffnet auch Möglichkeiten, Musik durch Gedanken zu komponieren, und ebnet den Weg für medizinische Anwendungen wie „eine Tastatur für den Geist“ – oder eine Maschine, die dabei helfen könnte, die Wörter zu entschlüsseln, die Patienten sagen möchten.
„Es gibt potenziell viele klinische Anwendungen für das Verstehen von Musik, abgesehen davon, dass es cool ist, es zu tun“, sagte Knight.
Die Songauswahl, fügte er hinzu, scheine angesichts des Interesses, das die Studie seit ihrer Veröffentlichung geweckt habe, die „richtige Wahl“ zu sein.
Aber vielleicht sollte das Arbeitszimmer das nächste Mal mit einem Song von Taylor Swift neu gestaltet werden, scherzte er.