KI-Wissenschaftler machen mithilfe von Chatbots „aufregende“ Entdeckungen, um mathematische Probleme zu lösen | Wissenschaft

Forscher der künstlichen Intelligenz behaupten, die weltweit erste wissenschaftliche Entdeckung mithilfe eines großen Sprachmodells gemacht zu haben, ein Durchbruch, der darauf hindeutet, dass die Technologie hinter ChatGPT und ähnlichen Programmen Informationen generieren kann, die über das menschliche Wissen hinausgehen.

Das Ergebnis stammt aus Google DeepMind, wo Wissenschaftler untersuchen, ob große Sprachmodelle, die modernen Chatbots wie ChatGPT von OpenAI und Bard von Google zugrunde liegen, mehr können, als im Training gelernte Informationen neu zu verpacken und neue Erkenntnisse zu gewinnen.

„Als wir mit dem Projekt begannen, gab es keine Anzeichen dafür, dass es etwas wirklich Neues hervorbringen würde“, sagte Pushmeet Kohli, Leiter der KI-Wissenschaft bei DeepMind. „Soweit wir wissen, ist dies das erste Mal, dass eine echte, neue wissenschaftliche Entdeckung durch ein großes Sprachmodell gemacht wurde.“

Große Sprachmodelle (LLMs) sind leistungsstarke neuronale Netze, die Sprachmuster, einschließlich Computercode, aus riesigen Mengen an Text und anderen Daten lernen. Seit der stürmischen Einführung von ChatGPT im letzten Jahr hat die Technologie fehlerhafte Software debuggt und alles produziert, von College-Aufsätzen und Reiserouten bis hin zu Gedichten über den Klimawandel im Stil von Shakespeare.

Doch obwohl sich die Chatbots als äußerst beliebt erwiesen haben, generieren sie kein neues Wissen und neigen zu Konfabulationen, was zu Antworten führt, die – ganz im Sinne der besten Kneipenlangweiler – flüssig und plausibel, aber stark fehlerhaft sind.

Um „FunSearch“, kurz für „Suchen im Funktionsraum“, zu entwickeln, nutzte DeepMind ein LLM, um Lösungen für Probleme in Form von Computerprogrammen zu schreiben. Das LLM ist mit einem „Evaluator“ gekoppelt, der die Programme automatisch nach ihrer Leistung einordnet. Die besten Programme werden dann kombiniert und zur Verbesserung an das LLM zurückgegeben. Dies treibt das System dazu, schlechte Programme stetig zu leistungsfähigeren zu entwickeln, die neues Wissen entdecken können.

Die Forscher lösten bei FunSearch zwei Rätsel. Das erste war eine seit langem bestehende und etwas geheimnisvolle Herausforderung in der reinen Mathematik, bekannt als das Cap-Set-Problem. Dabei geht es darum, die größte Punktmenge im Raum zu finden, bei der keine drei Punkte eine gerade Linie bilden. FunSearch hat Programme entwickelt, die neue Large-Cap-Sätze generieren, die über das Beste hinausgehen, was Mathematiker bisher erfunden haben.

Das zweite Rätsel war das Bin-Packing-Problem, bei dem nach den besten Möglichkeiten gesucht wird, Gegenstände unterschiedlicher Größe in Behälter zu verpacken. Während dies für physische Objekte gilt, beispielsweise für die effizienteste Anordnung von Kartons in einem Versandcontainer, gilt die gleiche Mathematik auch für andere Bereiche, beispielsweise für die Planung von Rechenaufgaben in Rechenzentren. Das Problem lässt sich in der Regel dadurch lösen, dass die Artikel entweder in den ersten Behälter gepackt werden, der Platz bietet, oder in den Behälter mit dem geringsten verfügbaren Platz, in den der Artikel noch passt. FunSearch hat einen besseren Ansatz gefunden, der es vermeidet, kleine Lücken zu hinterlassen, die wahrscheinlich nie geschlossen werden, so die in Nature veröffentlichten Ergebnisse.

„In den letzten zwei oder drei Jahren gab es einige aufregende Beispiele dafür, wie menschliche Mathematiker mit KI zusammenarbeiteten, um Fortschritte bei ungelösten Problemen zu erzielen“, sagte Sir Tim Gowers, Professor für Mathematik an der Universität Cambridge, der nicht an der Forschung beteiligt war. „Diese Arbeit gibt uns möglicherweise ein weiteres sehr interessantes Werkzeug für solche Kooperationen an die Hand, das es Mathematikern ermöglicht, effizient nach cleveren und unerwarteten Konstruktionen zu suchen.“ Besser noch, diese Konstruktionen sind menschlich interpretierbar.“

Forscher erforschen nun die Bandbreite der wissenschaftlichen Probleme, die FunSearch bewältigen kann. Ein wesentlicher limitierender Faktor besteht darin, dass für die Probleme Lösungen erforderlich sind, die automatisch überprüft werden können. Dies schließt viele Fragestellungen in der Biologie aus, wo Hypothesen häufig durch Laborexperimente überprüft werden müssen.

Die unmittelbareren Auswirkungen könnten sich auf Computerprogrammierer auswirken. In den letzten 50 Jahren hat sich die Codierung durch die Entwicklung immer spezialisierterer Algorithmen durch den Menschen erheblich verbessert. „Dies wird tatsächlich einen Wandel in der Herangehensweise der Menschen an die Informatik und die algorithmische Entdeckung bewirken“, sagte Kohli. „Zum ersten Mal sehen wir, dass LLMs nicht die Oberhand gewinnen, sondern definitiv dabei helfen, die Grenzen dessen zu erweitern, was in Algorithmen möglich ist.“

Jordan Ellenberg, Professor für Mathematik an der University of Wisconsin-Madison und Co-Autor des Papiers, sagte: „Was ich wirklich spannend finde, noch mehr als die spezifischen Ergebnisse, die wir gefunden haben, sind die Aussichten, die es für die Zukunft bietet.“ Mensch-Maschine-Interaktion in der Mathematik.

„Anstatt eine Lösung zu generieren, generiert FunSearch ein Programm, das die Lösung findet. Eine Lösung für ein bestimmtes Problem gibt mir möglicherweise keinen Einblick in die Lösung anderer damit zusammenhängender Probleme. Aber ein Programm, das die Lösung findet, das kann ein Mensch lesen und interpretieren und dadurch hoffentlich Ideen für das nächste Problem und das nächste und das nächste generieren.“