Zusammenfassung: Eine neue Studie befasst sich mit dem rätselhaften Bereich tiefer neuronaler Netze und stellt fest, dass diese Modelle zwar Objekte identifizieren können, die menschlichen Sinnessystemen ähneln, ihre Erkennungsstrategien jedoch von der menschlichen Wahrnehmung abweichen. Wenn die Netzwerke aufgefordert wurden, Reize zu erzeugen, die einer bestimmten Eingabe ähnelten, erzeugten sie oft nicht erkennbare oder verzerrte Bilder und Töne.
Dies deutet darauf hin, dass neuronale Netze ihre ausgeprägten „Invarianzen“ entwickeln, die sich stark von menschlichen Wahrnehmungsmustern unterscheiden. Die Forschung bietet Einblicke in die Bewertung von Modellen, die menschliche Sinneswahrnehmungen nachahmen.
Wichtige Fakten:
- Wenn tiefe neuronale Netze ähnliche Reize wie gegebene Eingaben erzeugen, erzeugen sie oft Bilder oder Töne, die keine Ähnlichkeit mit dem Ziel haben.
- Die Modelle scheinen einzigartige Invarianzen zu entwickeln, die sich von menschlichen Wahrnehmungssystemen unterscheiden und dazu führen, dass sie Reize anders wahrnehmen als Menschen.
- Der Einsatz von gegnerischem Training kann dazu führen, dass die von den Modellen erzeugten Reize für Menschen besser erkennbar sind, obwohl sie nicht mit den ursprünglichen Eingaben identisch sind.
Quelle: MIT
Menschliche Sinnessysteme sind sehr gut darin, Objekte, die wir sehen, oder Wörter, die wir hören, zu erkennen, selbst wenn das Objekt auf dem Kopf steht oder das Wort von einer Stimme gesprochen wird, die wir noch nie gehört haben.
Computermodelle, die als tiefe neuronale Netze bekannt sind, können darauf trainiert werden, das Gleiche zu tun und ein Bild eines Hundes unabhängig von der Fellfarbe oder ein Wort unabhängig von der Tonhöhe der Stimme des Sprechers korrekt zu identifizieren. Eine neue Studie von MIT-Neurowissenschaftlern hat jedoch herausgefunden, dass diese Modelle oft auch auf Bilder oder Wörter, die keine Ähnlichkeit mit dem Ziel haben, auf die gleiche Weise reagieren.
Wenn diese neuronalen Netze verwendet wurden, um ein Bild oder ein Wort zu erzeugen, auf das sie genauso reagierten wie auf eine bestimmte natürliche Eingabe, beispielsweise das Bild eines Bären, erzeugten die meisten von ihnen Bilder oder Töne, die für menschliche Beobachter nicht erkennbar waren. Dies deutet darauf hin, dass diese Modelle ihre eigenen idiosynkratischen „Invarianzen“ aufbauen – was bedeutet, dass sie auf Reize mit sehr unterschiedlichen Merkmalen gleich reagieren.
Die Ergebnisse bieten Forschern eine neue Möglichkeit zu bewerten, wie gut diese Modelle die Organisation der menschlichen Sinneswahrnehmung nachahmen, sagt Josh McDermott, außerordentlicher Professor für Gehirn- und Kognitionswissenschaften am MIT und Mitglied des McGovern Institute for Brain Research and Center for Brains des MIT , Köpfe und Maschinen.
„Dieser Artikel zeigt, dass man diese Modelle verwenden kann, um unnatürliche Signale abzuleiten, die letztendlich sehr diagnostisch für die Darstellungen im Modell sind“, sagt McDermott, der leitende Autor der Studie. „Dieser Test sollte Teil einer Reihe von Tests werden, die wir als Fachgebiet zur Bewertung von Modellen verwenden.“
Jenelle Feather PhD ’22, die jetzt wissenschaftliche Mitarbeiterin am Flatiron Institute Center for Computational Neuroscience ist, ist die Hauptautorin des Open-Access-Artikels, der heute in erscheint Naturneurowissenschaften. Guillaume Leclerc, ein MIT-Doktorand, und Aleksander Mądry, Professor für Informatik bei Cadence Design Systems am MIT, sind ebenfalls Autoren des Artikels.
Unterschiedliche Wahrnehmungen
In den letzten Jahren haben Forscher tiefe neuronale Netze trainiert, die Millionen von Eingaben (Töne oder Bilder) analysieren und gemeinsame Merkmale lernen können, die es ihnen ermöglichen, ein Zielwort oder -objekt ungefähr so genau zu klassifizieren wie Menschen. Diese Modelle gelten derzeit als die führenden Modelle biologischer Sinnessysteme.
Es wird angenommen, dass das menschliche Sinnessystem bei dieser Art der Klassifizierung lernt, Merkmale zu ignorieren, die für die Kernidentität eines Objekts nicht relevant sind, etwa wie viel Licht auf das Objekt scheint oder aus welchem Blickwinkel es betrachtet wird. Dies wird als Invarianz bezeichnet, was bedeutet, dass Objekte als gleich wahrgenommen werden, auch wenn sie Unterschiede in den weniger wichtigen Merkmalen aufweisen.
„Klassischerweise haben wir über sensorische Systeme so gedacht, dass sie Invarianzen gegenüber all den Variationsquellen aufbauen, die verschiedene Beispiele derselben Sache haben können“, sagt Feather. „Ein Organismus muss erkennen, dass es sich um dasselbe handelt, auch wenn sie als sehr unterschiedliche Sinnessignale auftreten.“
Die Forscher fragten sich, ob tiefe neuronale Netze, die für die Durchführung von Klassifizierungsaufgaben trainiert werden, ähnliche Invarianzen entwickeln könnten. Um diese Frage zu beantworten, verwendeten sie diese Modelle, um Reize zu erzeugen, die innerhalb des Modells die gleiche Art von Reaktion hervorrufen wie ein Beispielreiz, den die Forscher dem Modell gegeben hatten.
Sie nennen diese Reize „Modellmetamere“ und greifen damit eine Idee aus der klassischen Wahrnehmungsforschung auf, wonach Reize, die für ein System nicht unterscheidbar sind, zur Diagnose seiner Invarianzen verwendet werden können. Das Konzept der Metamere wurde ursprünglich im Rahmen der Erforschung der menschlichen Wahrnehmung entwickelt, um Farben zu beschreiben, die identisch aussehen, obwohl sie aus unterschiedlichen Lichtwellenlängen bestehen.
Zu ihrer Überraschung stellten die Forscher fest, dass die meisten der auf diese Weise erzeugten Bilder und Töne überhaupt nicht so aussahen und klangen wie die Beispiele, die den Modellen ursprünglich gegeben wurden. Die meisten Bilder waren ein Durcheinander zufällig aussehender Pixel und die Geräusche ähnelten unverständlichem Rauschen. Als Forscher die Bilder menschlichen Beobachtern zeigten, ordneten die Menschen die von den Modellen synthetisierten Bilder in den meisten Fällen nicht derselben Kategorie wie das ursprüngliche Zielbeispiel zu.
„Sie sind für den Menschen eigentlich überhaupt nicht erkennbar. Sie sehen nicht natürlich aus oder klingen nicht natürlich und sie verfügen nicht über interpretierbare Merkmale, anhand derer eine Person einen Gegenstand oder ein Wort klassifizieren könnte“, sagt Feather.
Die Ergebnisse deuten darauf hin, dass die Modelle irgendwie ihre eigenen Invarianzen entwickelt haben, die sich von denen in menschlichen Wahrnehmungssystemen unterscheiden. Dies führt dazu, dass die Modelle Reizpaare als gleich wahrnehmen, obwohl sie sich stark von denen eines Menschen unterscheiden.
Idiosynkratische Invarianzen
Die Forscher fanden den gleichen Effekt bei vielen verschiedenen Seh- und Hörmodellen. Allerdings schien jedes dieser Modelle seine eigenen einzigartigen Invarianzen zu entwickeln. Wenn Metamere von einem Modell einem anderen Modell gezeigt wurden, waren die Metamere für das zweite Modell genauso unkenntlich wie für menschliche Beobachter.
„Die wichtigste Schlussfolgerung daraus ist, dass diese Modelle das zu haben scheinen, was wir idiosynkratische Invarianzen nennen“, sagt McDermott. „Sie haben gelernt, gegenüber diesen bestimmten Dimensionen im Reizraum invariant zu sein, und dieser ist modellspezifisch, sodass andere Modelle nicht dieselben Invarianzen aufweisen.“
Die Forscher fanden außerdem heraus, dass sie die Metamere eines Modells mithilfe eines Ansatzes namens „Gegnerisches Training“ für Menschen besser erkennbar machen konnten. Dieser Ansatz wurde ursprünglich entwickelt, um einer weiteren Einschränkung von Objekterkennungsmodellen entgegenzuwirken, nämlich dass die Einführung winziger, fast unmerklicher Änderungen an einem Bild dazu führen kann, dass das Modell es falsch erkennt.
Die Forscher fanden heraus, dass das gegnerische Training, bei dem einige dieser leicht veränderten Bilder in die Trainingsdaten einbezogen werden, zu Modellen führte, deren Metamere für Menschen besser erkennbar waren, obwohl sie immer noch nicht so gut erkennbar waren wie die ursprünglichen Reize. Diese Verbesserung scheint unabhängig von der Auswirkung des Trainings auf die Fähigkeit der Modelle zu sein, gegnerischen Angriffen zu widerstehen, sagen die Forscher.
„Diese spezielle Form des Trainings hat eine große Wirkung, aber wir wissen nicht wirklich, warum sie diese Wirkung hat“, sagt Feather. „Das ist ein Bereich für zukünftige Forschung.“
Die Analyse der von Computermodellen erzeugten Metamere könnte ein nützliches Werkzeug sein, um zu beurteilen, wie genau ein Computermodell die zugrunde liegende Organisation menschlicher Sinneswahrnehmungssysteme nachahmt, sagen die Forscher.
„Dies ist ein Verhaltenstest, den Sie an einem bestimmten Modell durchführen können, um zu sehen, ob die Invarianzen zwischen dem Modell und menschlichen Beobachtern geteilt werden“, sagt Feather. „Es könnte auch verwendet werden, um zu bewerten, wie idiosynkratisch die Invarianzen innerhalb eines bestimmten Modells sind, was dazu beitragen könnte, potenzielle Möglichkeiten zur Verbesserung unserer Modelle in der Zukunft aufzudecken.“
Finanzierung: Die Forschung wurde von der National Science Foundation, den National Institutes of Health, einem Graduate Fellowship des Department of Energy Computational Science und einem Friends of the McGovern Institute Fellowship finanziert.
Über diese Neuigkeiten aus der KI- und Wahrnehmungsforschung
Autor: Sarah McDonnell
Quelle: MIT
Kontakt: Sarah McDonnell – MIT
Bild: Das Bild stammt von Neuroscience News
Ursprüngliche Forschung: Offener Zugang.
„Modellmetamere offenbaren divergierende Invarianzen zwischen biologischen und künstlichen neuronalen Netzen“ von Josh McDermott et al. Naturneurowissenschaften
Abstrakt
Modellmetamere zeigen divergente Invarianzen zwischen biologischen und künstlichen neuronalen Netzen
Oft werden tiefe neuronale Netzwerkmodelle sensorischer Systeme vorgeschlagen, um Repräsentationstransformationen mit Invarianzen wie denen im Gehirn zu lernen. Um diese Invarianzen aufzudecken, haben wir „Modellmetamere“ generiert, Reize, deren Aktivierungen innerhalb einer Modellstufe denen eines natürlichen Reizes entsprechen.
Metamere für hochmoderne überwachte und unüberwachte neuronale Netzwerkmodelle des Sehens und Hörens waren für Menschen oft völlig unkenntlich, wenn sie aus späten Modellstadien generiert wurden, was auf Unterschiede zwischen Modell- und menschlichen Invarianzen schließen lässt. Gezielte Modelländerungen verbesserten die menschliche Erkennbarkeit von Modellmetameren, beseitigten jedoch nicht die allgemeine Diskrepanz zwischen Mensch und Modell.
Die menschliche Erkennbarkeit der Metamere eines Modells wurde durch ihre Erkennbarkeit durch andere Modelle gut vorhergesagt, was darauf hindeutet, dass Modelle zusätzlich zu den für die Aufgabe erforderlichen idiosynkratischen Invarianzen enthalten.
Die Erkennbarkeit von Metameren distanzierte sich sowohl von traditionellen gehirnbasierten Benchmarks als auch von der gegnerischen Anfälligkeit, was einen deutlichen Fehlermodus bestehender sensorischer Modelle aufdeckte und einen ergänzenden Benchmark für die Modellbewertung lieferte.