FunSearch (so genannt, weil es nach mathematischen Funktionen sucht, nicht weil es Spaß macht) setzt eine Reihe von Entdeckungen in grundlegender Mathematik und Informatik fort, die DeepMind mithilfe von KI gemacht hat. Zuerst hat AlphaTensor einen Weg gefunden, eine Berechnung im Herzen vieler verschiedener Arten von Code zu beschleunigen und damit einen 50-Jahres-Rekord gebrochen. Dann fand AlphaDev Möglichkeiten, wichtige Algorithmen, die Billionen Mal am Tag verwendet werden, schneller laufen zu lassen.
Diese Tools verwendeten jedoch keine großen Sprachmodelle. Beide basieren auf DeepMinds spielbasierter KI AlphaZero und lösen mathematische Probleme, indem sie sie so behandeln, als wären sie Rätsel in Go oder Schach. Das Problem ist, dass sie auf ihrem Weg feststecken, sagt Bernardino Romera-Paredes, ein Forscher des Unternehmens, der sowohl an AlphaTensor als auch an FunSearch gearbeitet hat: „AlphaTensor ist großartig in der Matrixmultiplikation, aber im Grunde nichts anderes.“
FunSearch geht einen anderen Weg. Es kombiniert ein großes Sprachmodell namens Codey, eine auf Computercode abgestimmte Version von Googles PaLM 2, mit anderen Systemen, die falsche oder unsinnige Antworten ablehnen und gute Antworten wieder einbauen.
„Um ganz ehrlich zu sein: Wir haben Hypothesen, aber wir wissen nicht genau, warum das funktioniert“, sagt Alhussein Fawzi, Forscher bei Google DeepMind. „Zu Beginn des Projekts wussten wir nicht, ob das überhaupt funktionieren würde.“
Die Forscher skizzierten zunächst das Problem, das sie lösen wollten, in Python, einer beliebten Programmiersprache. Aber sie haben im Programm die Zeilen weggelassen, die angeben würden, wie das Problem gelöst werden soll. Hier kommt FunSearch ins Spiel. Es bringt Codey dazu, die Lücken zu füllen – im Grunde genommen, um Code vorzuschlagen, der das Problem löst.
Ein zweiter Algorithmus prüft und bewertet dann, was Codey herausgefunden hat. Die besten Vorschläge – auch wenn sie noch nicht korrekt sind – werden gespeichert und an Codey zurückgegeben, der versucht, das Programm erneut abzuschließen. „Viele werden unsinnig sein, einige werden vernünftig sein und einige werden wirklich inspiriert sein“, sagt Kohli. „Man nimmt diese wirklich inspirierten und sagt: ‚Okay, nimm diese und wiederhole es.‘“
Nach ein paar Millionen Vorschlägen und ein paar Dutzend Wiederholungen des gesamten Prozesses – der einige Tage dauerte – konnte FunSearch einen Code entwickeln, der eine korrekte und bisher unbekannte Lösung für das Cap-Set-Problem lieferte, bei dem es darum geht, die größte Größe zu finden eines bestimmten Satztyps. Stellen Sie sich vor, Sie zeichnen Punkte auf Millimeterpapier. Das Cap-Set-Problem ähnelt dem Versuch, herauszufinden, wie viele Punkte man hinlegen kann, ohne dass drei von ihnen jemals eine gerade Linie bilden.
Es ist eine Super-Nische, aber wichtig. Mathematiker sind sich nicht einmal darüber einig, wie man es löst, geschweige denn, was die Lösung ist. (Es hängt auch mit der Matrixmultiplikation zusammen, der Berechnung, die AlphaTensor beschleunigen konnte.) Terence Tao von der University of California in Los Angeles, der viele der wichtigsten Auszeichnungen in der Mathematik gewonnen hat, darunter die Fields-Medaille, nannte die Cap-Set-Problem „vielleicht meine liebste offene Frage“ in einem Blogbeitrag aus dem Jahr 2007.