Apple hat heute mehrere Open-Source-LLMs (Large Language Models) veröffentlicht, die für die Ausführung auf dem Gerät und nicht über Cloud-Server konzipiert sind. Die LLMs heißen OpenELM (Open-Source Efficient Language Models) und sind auf dem Hugging Face Hub verfügbar, einer Community zum Teilen von KI-Code.
Wie in einem Whitepaper beschrieben [PDF]Insgesamt gibt es acht OpenELM-Modelle, von denen vier mit der CoreNet-Bibliothek vorab trainiert wurden, und vier anweisungsoptimierte Modelle. Apple verwendet eine schichtweise Skalierungsstrategie, die auf eine Verbesserung der Genauigkeit und Effizienz abzielt.
Apple stellte Code, Trainingsprotokolle und mehrere Versionen zur Verfügung und nicht nur das endgültig trainierte Modell, und die Forscher hinter dem Projekt hoffen, dass es zu schnelleren Fortschritten und „vertrauenswürdigeren Ergebnissen“ im Bereich der KI in natürlicher Sprache führen wird.
OpenELM, ein hochmodernes offenes Sprachmodell. OpenELM verwendet eine schichtweise Skalierungsstrategie, um Parameter innerhalb jeder Schicht des Transformatormodells effizient zuzuordnen, was zu einer höheren Genauigkeit führt. Mit einem Parameterbudget von etwa einer Milliarde Parametern weist OpenELM beispielsweise im Vergleich zu OLMo eine Verbesserung der Genauigkeit um 2,36 % auf und erfordert gleichzeitig 2x weniger Pre-Training-Tokens.
Im Gegensatz zu früheren Praktiken, die nur Modellgewichtungen und Inferenzcode bereitstellen und auf privaten Datensätzen vorab trainieren, umfasst unsere Veröffentlichung das vollständige Framework für das Training und die Bewertung des Sprachmodells auf öffentlich verfügbaren Datensätzen, einschließlich Trainingsprotokollen, mehreren Prüfpunkten und vorab. Trainingskonfigurationen.
Apple sagt, dass es die OpenELM-Modelle veröffentlicht, um „die offene Forschungsgemeinschaft zu stärken und zu bereichern“ mit modernsten Sprachmodellen. Der Austausch von Open-Source-Modellen gibt Forschern die Möglichkeit, Risiken sowie Daten- und Modellverzerrungen zu untersuchen. Entwickler und Unternehmen haben die Möglichkeit, die Modelle unverändert zu verwenden oder Änderungen vorzunehmen.
Der offene Informationsaustausch ist für Apple zu einem wichtigen Instrument zur Rekrutierung von Top-Ingenieuren, Wissenschaftlern und Experten geworden, da er Möglichkeiten für Forschungsarbeiten bietet, die unter Apples geheimen Richtlinien normalerweise nicht hätten veröffentlicht werden können.
Apple hat diese Art von KI-Funktionen noch nicht auf seine Geräte gebracht, aber iOS 18 wird voraussichtlich eine Reihe neuer KI-Funktionen enthalten, und Gerüchte deuten darauf hin, dass Apple plant, seine großen Sprachmodelle aus Datenschutzgründen auf dem Gerät auszuführen.