In einem bedeutenden Sprung in der Entwicklung großer Sprachmodelle (LLM) kündigte Mistral AI die Veröffentlichung seines neuesten Modells, Mixtral-8x7B, an.
magnet:?xt=urn:btih:5546272da9065eddeb6fcd7ffddeef5b75be79a7&dn=mixtral-8x7b-32kseqlen&tr=udp%3A%2F%https://t.co/uV4WVdtpwZ%3A6969%2Fannounce&tr=http%3A%2F%https://t.co /g0m9cEUz0T%3A80%2Fannounce
FREIGABE a6bbd9affe0c2725c1b7410d66833e24
— Mistral AI (@MistralAI) 8. Dezember 2023
Was ist Mixtral-8x7B?
Mixtral-8x7B von Mistral AI ist ein Mixture of Experts (MoE)-Modell, das die Art und Weise verbessern soll, wie Maschinen Text verstehen und generieren.
Stellen Sie es sich als ein Team spezialisierter Experten vor, von denen jeder in einem anderen Bereich ausgebildet ist und die zusammenarbeiten, um verschiedene Arten von Informationen und Aufgaben zu bearbeiten.
Berichten zufolge beleuchtet ein im Juni veröffentlichter Bericht die Feinheiten von OpenAIs GPT-4 und betont, dass es einen ähnlichen Ansatz wie MoE verwendet, 16 Experten mit jeweils rund 111 Milliarden Parametern nutzt und zwei Experten pro Vorwärtsdurchgang weiterleitet, um die Kosten zu optimieren.
Dieser Ansatz ermöglicht es dem Modell, vielfältige und komplexe Daten effizient zu verwalten, was es bei der Erstellung von Inhalten, der Teilnahme an Gesprächen oder der Übersetzung von Sprachen hilfreich macht.
Mixtral-8x7B-Leistungsmetriken
Das neue Modell von Mistral AI, Mixtral-8x7B, stellt einen bedeutenden Fortschritt gegenüber dem Vorgängermodell Mistral-7B-v0.1 dar.
Es wurde entwickelt, um Texte besser zu verstehen und zu erstellen – eine wichtige Funktion für alle, die KI für Schreib- oder Kommunikationsaufgaben verwenden möchten.
Neue offene Gewichte von LLM @MistralAI
params.json:
– versteckt_dim / dim = 14336/4096 => 3,5-fache MLP-Erweiterung
– n_heads / n_kv_heads = 32/8 => 4X Multiquery
– „moe“ => Expertenmischung 8X Top 2 👀Wahrscheinlich verwandter Code: https://t.co/yrqRtYhxKR
Seltsamerweise abwesend: ein überprobtes… https://t.co/8PvqdHz1bR pic.twitter.com/xMDRj3WAVh
— Andrej Karpathy (@karpathy) 8. Dezember 2023
Dieses neueste Mitglied der Mistral-Familie verspricht, die KI-Landschaft mit seinen verbesserten Leistungsmetriken zu revolutionieren, wie von OpenCompass geteilt.
Was Mixtral-8x7B auszeichnet, ist nicht nur seine Verbesserung gegenüber der Vorgängerversion von Mistral AI, sondern auch die Art und Weise, wie es mit Modellen wie Llama2-70B und Qwen-72B mithalten kann.
Es ist, als hätte man einen Assistenten, der komplexe Ideen verstehen und klar ausdrücken kann.
Eine der Hauptstärken des Mixtral-8x7B ist seine Fähigkeit, spezielle Aufgaben zu bewältigen.
Beispielsweise schnitt es in speziellen Tests zur Evaluierung von KI-Modellen außergewöhnlich gut ab, was darauf hindeutet, dass es gut im allgemeinen Textverständnis und bei der Generierung von Texten ist und sich in eher Nischenbereichen auszeichnet.
Dies macht es zu einem wertvollen Werkzeug für Marketingprofis und SEO-Experten, die eine KI benötigen, die sich an unterschiedliche Inhalte und technische Anforderungen anpassen kann.
Die Fähigkeit des Mixtral-8x7B, mit komplexen Mathematik- und Codierungsproblemen umzugehen, legt auch nahe, dass er ein hilfreicher Verbündeter für diejenigen sein kann, die sich mit eher technischen Aspekten von SEO befassen, bei denen das Verständnis und die Lösung algorithmischer Herausforderungen von entscheidender Bedeutung sind.
Dieses neue Modell könnte ein vielseitiger und intelligenter Partner für ein breites Spektrum an digitalen Inhalten und Strategieanforderungen werden.
So testen Sie Mixtral-8x7B: 4 Demos
Sie können mit dem neuen Modell von Mistral AI, Mixtral-8x7B, experimentieren, um zu sehen, wie es auf Anfragen reagiert und wie es im Vergleich zu anderen Open-Source-Modellen und OpenAIs GPT-4 abschneidet.
Bitte beachten Sie, dass Plattformen, auf denen dieses neue Modell ausgeführt wird, wie alle generativen KI-Inhalte möglicherweise ungenaue Informationen oder anderweitig unbeabsichtigte Ergebnisse liefern.
Das Feedback der Benutzer zu neuen Modellen wie diesem wird Unternehmen wie Mistral AI dabei helfen, zukünftige Versionen und Modelle zu verbessern.
1. Perplexity Labs Spielplatz
In Perplexity Labs können Sie Mixtral-8x7B zusammen mit Llama 2, Mistral-7b von Meta AI und den neuen Online-LLMs von Perplexity ausprobieren.
In diesem Beispiel frage ich nach dem Modell selbst und stelle fest, dass nach der ersten Antwort neue Anweisungen hinzugefügt werden, um den generierten Inhalt zu meiner Anfrage zu erweitern.
Screenshot von Perplexity, Dezember 2023Während die Antwort richtig aussieht, beginnt sie sich zu wiederholen.
Screenshot von Perplexity Labs, Dezember 2023Das Modell lieferte eine über 600 Wörter umfassende Antwort auf die Frage „Was ist SEO?“
Auch hier erscheinen zusätzliche Anweisungen als „Kopfzeilen“, um scheinbar eine umfassende Antwort zu gewährleisten.
Screenshot von Perplexity Labs, Dezember 20232. Poe
Poe hostet Bots für beliebte LLMs, darunter GPT-4 und DALL·E 3 von OpenAI, Llama 2 und Code Llama von Meta AI, PaLM 2 von Google, Claude-instant und Claude 2 von Anthropic sowie StableDiffusionXL.
Diese Bots decken ein breites Spektrum an Fähigkeiten ab, einschließlich Text-, Bild- und Codegenerierung.
Der Mixtral-8x7B-Chat-Bot wird von Fireworks AI betrieben.
Screenshot von Poe, Dezember 2023Es ist erwähnenswert, dass auf der Fireworks-Seite angegeben ist, dass es sich um eine „inoffizielle Implementierung“ handelt, die für den Chat optimiert wurde.
Auf die Frage, was die besten Backlinks für SEO sind, gab es eine gültige Antwort.
Screenshot von Poe, Dezember 2023Vergleichen Sie dies mit der Antwort von Google Bard.
Screenshot von Google Bard, Dezember 20233. Vercel
Vercel bietet eine Demo von Mixtral-8x7B an, die es Benutzern ermöglicht, Antworten von beliebten Anthropic-, Cohere-, Meta AI- und OpenAI-Modellen zu vergleichen.
Screenshot aus Vercel, Dezember 2023Es bietet eine interessante Perspektive darauf, wie jedes Modell Benutzerfragen interpretiert und darauf reagiert.
Screenshot aus Vercel, Dezember 2023Wie bei vielen LLMs kommt es gelegentlich zu Halluzinationen.
Screenshot aus Vercel, Dezember 20234. Replizieren
Die mixtral-8x7b-32-Demo auf Replicate basiert auf diesem Quellcode. In der README-Datei wird auch darauf hingewiesen, dass „Inferenz ziemlich ineffizient ist.“
Screenshot von Replicate, Dezember 2023Im obigen Beispiel beschreibt Mixtral-8x7B sich selbst als Spiel.
Abschluss
Die neueste Version von Mistral AI setzt neue Maßstäbe im KI-Bereich und bietet verbesserte Leistung und Vielseitigkeit. Aber wie viele LLMs kann es ungenaue und unerwartete Antworten liefern.
Während sich die KI weiterentwickelt, könnten Modelle wie der Mixtral-8x7B ein wesentlicher Bestandteil bei der Gestaltung fortschrittlicher KI-Tools für Marketing und Unternehmen werden.
Ausgewähltes Bild: T. Schneider/Shutterstock