Hugging Face stellte vor kurzem Falcon 180B vor, das größte Open-Source-Large-Language-Modell, das angeblich genauso gut funktioniert wie Googles hochmoderne KI, Palm 2. Und es verfügt auch über keine Schutzmaßnahmen, die es davon abhalten, unsichere oder schädliche Ausgaben zu erzeugen.
Falcon 180B erreicht modernste Leistung
Der Ausdruck „Stand der Technik“ bedeutet, dass etwas auf dem höchstmöglichen Niveau funktioniert und dem aktuellen Beispiel für das Beste entspricht oder dieses übertrifft.
Es ist eine große Sache, wenn Forscher verkünden, dass ein Algorithmus oder ein großes Sprachmodell die modernste Leistung erbringt.
Und genau das sagt Hugging Face über Falcon 180B.
Falcon 180B erreicht modernste Leistung bei Aufgaben in natürlicher Sprache, übertrifft frühere Open-Source-Modelle und „konkurriert“ in puncto Leistung auch mit Googles Palm 2.
Das sind auch nicht nur Prahlereien.
Die Behauptung von Hugging Face, dass Falcon 180B mit Palm 2 konkurriert, wird durch Daten untermauert.
Die Daten zeigen, dass Falcon 180B das bisher leistungsstärkste Open-Source-Modell Llama 270B bei einer Reihe von Aufgaben übertrifft, mit denen gemessen wird, wie leistungsfähig ein KI-Modell ist.
Falcon 180B übertrifft sogar OpenAIs GPT-3.5.
Die Testdaten zeigen auch, dass die Leistung des Falcon 180B auf dem gleichen Niveau liegt wie der Palm 2 von Google.
Screenshot des Leistungsvergleichs
In der Ankündigung wurde erklärt:
„Falcon 180B ist das derzeit beste offen veröffentlichte LLM und übertrifft Llama 2 70B und OpenAIs GPT-3.5 …
Falcon 180B liegt je nach Bewertungsbenchmark typischerweise irgendwo zwischen GPT 3,5 und GPT4…“
In der Ankündigung wird weiterhin angedeutet, dass zusätzliche Feinabstimmungen des Modells durch Benutzer die Leistung noch weiter verbessern könnten.
Kleinere technische Probleme, die die Indizierung durcheinander bringen, wie das Auslösen von 301-Weiterleitungen durch interne Links zu alten URLs, die mit einer Kategoriestruktur aktualisiert wurden.
Datensatz zum Trainieren von Falcon 180B
Hugging Face hat ein Forschungspapier (PDF-Version hier) veröffentlicht, das Details zu dem Datensatz enthält, der zum Trainieren von Falcon 180B verwendet wurde.
Es heißt The RefinedWeb Dataset.
Dieser Datensatz besteht ausschließlich aus Inhalten aus dem Internet, die aus dem Open-Source-Common Crawl stammen, einem öffentlich verfügbaren Datensatz des Webs.
Anschließend wird der Datensatz gefiltert und einem Deduplizierungsprozess (Entfernung doppelter oder redundanter Daten) unterzogen, um die Qualität der verbleibenden Daten zu verbessern.
Was die Forscher mit der Filterung erreichen wollen, ist die Entfernung von maschinell erzeugtem Spam, sich wiederholenden Inhalten, Standardinhalten, plagiierten Inhalten und Daten, die nicht repräsentativ für natürliche Sprache sind.
Das Forschungspapier erklärt:
„Aufgrund von Crawling-Fehlern und minderwertigen Quellen enthalten viele Dokumente wiederholte Sequenzen: Dies kann zu pathologischem Verhalten im endgültigen Modell führen …
…Ein erheblicher Teil der Seiten ist maschinell generierter Spam, der überwiegend aus Schlüsselwortlisten, Textbausteinen oder Sonderzeichenfolgen besteht.
Solche Dokumente sind für die Sprachmodellierung nicht geeignet…
…Wir wenden eine aggressive Deduplizierungsstrategie an, die sowohl Fuzzy-Dokumentübereinstimmungen als auch die Entfernung exakter Sequenzen kombiniert.“
Anscheinend ist es unerlässlich, den Datensatz zu filtern und anderweitig zu bereinigen, da er ausschließlich aus Webdaten besteht, im Gegensatz zu anderen Datensätzen, die Nicht-Webdaten hinzufügen.
Die Bemühungen der Forscher, den Unsinn herauszufiltern, führten zu einem Datensatz, der ihrer Meinung nach genauso gut ist wie kuratiertere Datensätze, die aus Raubkopien von Büchern und anderen Quellen von Nicht-Web-Daten bestehen.
Abschließend stellen sie fest, dass ihr Datensatz ein Erfolg ist:
„Wir haben gezeigt, dass strikte Filterung und Deduplizierung zu einem Web-Datensatz von fünf Billionen Token führen kann, der geeignet ist, Modelle zu erstellen, die mit dem neuesten Stand der Technik mithalten können und sogar LLMs übertreffen, die auf kuratierten Korpora trainiert wurden.“
Falcon 180B hat keine Leitplanken
Bemerkenswert an Falcon 180B ist, dass keine Abstimmung der Ausrichtung vorgenommen wurde, um zu verhindern, dass schädliche oder unsichere Ausgaben erzeugt werden, und nichts, was ihn daran hindert, Fakten zu erfinden und völlig zu lügen.
Infolgedessen kann das Modell so optimiert werden, dass es eine Ausgabe generiert, die mit Produkten von OpenAI und Google nicht generiert werden kann.
Dies ist in einem Abschnitt der Ankündigung mit der Überschrift „Einschränkungen“ aufgeführt.
Hugging Face rät:
„Einschränkungen: Das Modell kann und wird sachlich falsche Informationen produzieren und Fakten und Handlungen halluzinieren.
Da es keiner fortgeschrittenen Abstimmung/Ausrichtung unterzogen wurde, kann es zu problematischen Ausgaben kommen, insbesondere wenn man dazu aufgefordert wird.“
Kommerzielle Nutzung von Falcon 180B
Hugging Face ermöglicht die kommerzielle Nutzung von Falcon 180B.
Es wird jedoch unter einer restriktiven Lizenz veröffentlicht.
Hugging Face empfiehlt denjenigen, die Falcon 180B nutzen möchten, zunächst einen Anwalt zu konsultieren.
Falcon 180B ist wie ein Ausgangspunkt
Schließlich wurde das Modell nicht geschult, was bedeutet, dass es als KI-Chatbot trainiert werden muss.
Es ist also wie ein Basismodell, das mehr braucht, um das zu werden, was die Benutzer wollen. Hugging Face hat auch ein Chat-Modell veröffentlicht, aber es ist offenbar ein „einfaches“.
Hugging Face erklärt:
„Das Basismodell hat kein Eingabeaufforderungsformat. Denken Sie daran, dass es sich nicht um ein Konversationsmodell handelt oder mit Anweisungen trainiert wurde. Erwarten Sie also nicht, dass es Konversationsantworten generiert – das vorab trainierte Modell ist eine großartige Plattform für weitere Feinabstimmungen, aber Sie sollten es wahrscheinlich nicht sofort verwenden.
Das Chat-Modell hat eine sehr einfache Konversationsstruktur.“
Lesen Sie die offizielle Ankündigung:
Breiten Sie Ihre Flügel aus: Falcon 180B ist da
Ausgewähltes Bild von Shutterstock/Giu Studios