Am Mittwoch kündigte Google eine neue Familie von KI-Sprachmodellen namens Gemma an, bei denen es sich um kostenlose, offene Modelle handelt, die auf einer Technologie basieren, die den leistungsstärkeren, aber geschlossenen Gemini-Modellen ähnelt. Im Gegensatz zu Gemini können Gemma-Modelle lokal auf einem Desktop- oder Laptop-Computer ausgeführt werden. Es ist Googles erste bedeutende Veröffentlichung eines Open Large Language Model (LLM), seit ChatGPT von OpenAI im Jahr 2022 einen Hype um KI-Chatbots auslöste.
Gemma-Modelle gibt es in zwei Größen: Gemma 2B (2 Milliarden Parameter) und Gemma 7B (7 Milliarden Parameter), jeweils in vorab trainierten und auf Anweisungen abgestimmten Varianten. In der KI sind Parameter Werte in einem neuronalen Netzwerk, die das Verhalten des KI-Modells bestimmen, und Gewichte sind eine Teilmenge dieser Parameter, die in einer Datei gespeichert wird.
Gemma wurde von Google DeepMind und anderen Google-KI-Teams entwickelt und basiert auf Techniken, die bei der Entwicklung von Gemini erlernt wurden. Gemini ist der Familienname für die leistungsfähigsten (öffentlichen) kommerziellen LLMs von Google, einschließlich derjenigen, die den Gemini-KI-Assistenten antreiben. Google sagt, der Name stamme aus dem Lateinischen Gemmawas „Edelstein“ bedeutet.
Während Gemma Googles erstes großes offenes LLM seit der Einführung von ChatGPT ist (das Unternehmen hat in der Vergangenheit kleinere Forschungsmodelle wie FLAN-T5 veröffentlicht), ist es nicht Googles erster Beitrag zur offenen KI-Forschung. Das Unternehmen nennt die Entwicklung der Transformer-Architektur sowie Veröffentlichungen wie TensorFlow, BERT, T5 und JAX als wichtige Beiträge, und es wäre nicht umstritten zu sagen, dass diese für das Feld wichtig waren.
Aufgrund der geringeren Leistungsfähigkeit und hohen Konfabulationsraten ähnelten kleinere LLMs mit offenen Gewichten bis vor kurzem eher technischen Demos, da einige größere LLMs begonnen haben, das Leistungsniveau von GPT-3.5 zu erreichen. Dennoch sehen Experten quellenverfügbare und offene KI-Modelle als wesentliche Schritte zur Gewährleistung von Transparenz und Datenschutz in Chatbots an. Google Gemma ist jedoch nicht „Open Source“, da sich dieser Begriff normalerweise auf eine bestimmte Art von Softwarelizenz bezieht, mit der nur wenige Einschränkungen verbunden sind.
In Wirklichkeit scheint Gemma ein auffälliges Spiel zu sein, das mit Meta mithalten kann, das seit Februar letzten Jahres viel aus der Veröffentlichung von Open-Weight-Modellen (wie LLaMA und Llama 2) gemacht hat. Diese Technik steht im Gegensatz zu KI-Modellen wie GPT-4 Turbo von OpenAI, das nur über die ChatGPT-Anwendung und eine Cloud-API verfügbar ist und nicht lokal ausgeführt werden kann. Ein Reuters-Bericht über Gemma konzentriert sich auf den Meta-Aspekt und vermutet, dass Google hofft, mehr Entwickler für seine Vertex AI-Cloud-Plattform zu gewinnen.
Wir haben Gemma noch nicht verwendet; Google behauptet jedoch, dass das 7B-Modell die Llama 2 7B- und 13B-Modelle von Meta in mehreren Benchmarks für Mathematik, Python-Codegenerierung, Allgemeinwissen und Aufgaben zum logischen Denken übertrifft. Es ist ab sofort über Kaggle, eine Community-Plattform für maschinelles Lernen, und Hugging Face verfügbar.
In anderen Nachrichten hat Google die Gemma-Veröffentlichung mit einem „Responsible Generative AI Toolkit“ gepaart, von dem Google hofft, dass es Anleitungen und Tools für die Entwicklung dessen bietet, was das Unternehmen als „sichere und verantwortungsvolle“ KI-Anwendungen bezeichnet.