Vor zwei Jahren versuchten Yuri Burda und Harri Edwards, Forscher bei OpenAI, herauszufinden, was nötig wäre, um ein großes Sprachmodell dazu zu bringen, grundlegende Arithmetik zu beherrschen. Zunächst lief es nicht so gut. Die Modelle lernten die Summen, die sie sahen, auswendig, konnten aber keine neuen lösen.
Aus Versehen ließen Burda und Edwards einige ihrer Experimente tagelang statt stundenlang laufen. Den Modellen wurden die Beispielsummen immer wieder gezeigt, und schließlich lernten sie, zwei Zahlen zu addieren – es hatte einfach viel länger gedauert, als irgendjemand gedacht hatte.
In bestimmten Fällen konnte es den Modellen scheinbar nicht gelingen, eine Aufgabe zu erlernen, und sie dann plötzlich einfach erledigen, als ob eine Glühbirne angegangen wäre – ein Verhalten, das die Forscher als Grokking bezeichnen. Grokking ist nur eines von mehreren seltsamen Phänomenen, die KI-Forschern Kopfzerbrechen bereiten. Die größten Modelle und insbesondere große Sprachmodelle scheinen sich so zu verhalten, wie es laut Lehrbuchmathematik nicht der Fall sein sollte.
Dies unterstreicht eine bemerkenswerte Tatsache über Deep Learning, die grundlegende Technologie hinter dem heutigen KI-Boom: Trotz seines überwältigenden Erfolgs weiß niemand genau, wie – oder warum – es funktioniert. Lesen Sie die ganze Geschichte.
– Will Douglas Heaven
Wenn Sie sich für die Geheimnisse der KI interessieren, schauen Sie sich doch Folgendes an:
+ Warum es so wichtig ist, dass KI gut in Mathematik ist – und was das für die Zukunft der Technologie bedeutet.
+ Was uns die Geschichte der KI über ihre Zukunft verrät. IBMs schachspielender Supercomputer Deep Blue wurde von der Revolution der neuronalen Netze in den Schatten gestellt. Jetzt könnte die Maschine das letzte Lachen bekommen. Lesen Sie die ganze Geschichte.
+ Was uns der Geist eines Oktopus über das ultimative Geheimnis der KI lehren kann. Maschinenbewusstsein wird seit Turing diskutiert – und verworfen. Dennoch prägt es immer noch unser Denken über KI. Lesen Sie die ganze Geschichte.