Tag: Sprachmodell
So etwas wie „offene“ KI gab es nie
Um die Jahrhundertwende, als das moderne Web gerade erst entstand und Microsoft König war, stellte eine kleine, aber wachsende Technologiebewegung eine existenzielle Bedrohung für das Unternehmen dar. Steve Ballmer, der damalige CEO von Microsoft, nannte eines seiner Kernelemente „einen Krebs, der sich an „allem, was er berührt“ festsetzt“. Die Krankheit war ein konkurrierendes Betriebssystem, Linux, und die Open-Source-Software, die es darstellte: Programme, die jeder kostenlos herunterladen, ändern und verwenden konnte, im Gegensatz zu teurer, proprietärer Software wie Microsoft Windows und
Google DeepMind nutzte ein großes Sprachmodell, um neue Mathematik zu entdecken
FunSearch (so genannt, weil es nach mathematischen Funktionen sucht, nicht weil es Spaß macht) setzt eine Reihe von Entdeckungen in grundlegender Mathematik und Informatik fort, die DeepMind mithilfe von KI gemacht hat. Zuerst hat AlphaTensor einen Weg gefunden, eine Berechnung im Herzen vieler verschiedener Arten von Code zu beschleunigen und damit einen 50-Jahres-Rekord gebrochen. Dann fand AlphaDev Möglichkeiten, wichtige Algorithmen, die Billionen Mal am Tag verwendet werden, schneller laufen zu lassen.
Diese Tools verwendeten jedoch keine großen Sprachmodelle. Beide basieren
GPT-4 könnte nur ein aufgeblähtes, sinnloses Durcheinander sein
In der Regel ist es viel einfacher, etwas zu hypen, das es noch nicht gibt, als etwas zu hypen, das existiert. Das GPT-4-Sprachmodell von OpenAI – mit Spannung erwartet; noch nicht veröffentlicht – war in den letzten Monaten Gegenstand ungeprüfter, absurder Spekulationen. Ein Beitrag, der im Internet weit verbreitet ist, gibt vor, seine außergewöhnliche Kraft zu demonstrieren. Eine Abbildung zeigt einen winzigen Punkt, der GPT-3 und seine „175 Milliarden Parameter“ darstellt. Daneben befindet sich ein viel, viel größerer Kreis, der
Warum Metas neuestes großes Sprachmodell nur drei Tage online überlebte
Das Meta-Team hinter Galactica argumentiert, dass Sprachmodelle besser sind als Suchmaschinen. „Wir glauben, dass dies die nächste Schnittstelle dafür sein wird, wie Menschen auf wissenschaftliche Erkenntnisse zugreifen“, schreiben die Forscher.
Dies liegt daran, dass Sprachmodelle Informationen „potentiell speichern, kombinieren und über sie nachdenken“ können. Aber das „möglicherweise“ ist entscheidend. Es ist ein verschlüsseltes Eingeständnis, dass Sprachmodelle all das noch nicht können. Und sie werden es vielleicht nie können.
„Sprachmodelle sind nicht wirklich kenntnisreich, abgesehen von ihrer Fähigkeit, Muster von Wortfolgen
Laut DeepMind kann sein neues Sprachmodell andere um das 25-fache seiner Größe schlagen
Die KI mit dem Namen RETRO (für „Retrieval-Enhanced Transformer“) entspricht der Leistung neuronaler Netze um das 25-fache ihrer Größe und reduziert den Zeit- und Kostenaufwand für das Training sehr großer Modelle. Die Forscher behaupten auch, dass die Datenbank es einfacher macht, das Gelernte der KI zu analysieren, was dazu beitragen könnte, Voreingenommenheit und toxische Sprache herauszufiltern.
„Die Möglichkeit, Dinge im Handumdrehen nachschlagen zu können, anstatt sich alles merken zu müssen, kann oft genauso nützlich sein wie für Menschen“, sagt Jack