„BERT erfordert monatelange Berechnungen und ist sehr teuer – etwa eine Million Dollar, um dieses Modell zu erstellen und diese Prozesse zu wiederholen“, sagt Bahrami. „Wenn also alle das Gleiche tun wollen, dann ist es teuer – es ist nicht energieeffizient, nicht gut für die Welt.“
Obwohl das Feld vielversprechend ist, suchen Forscher immer noch nach Wegen, um autoML-Techniken recheneffizienter zu machen. Beispielsweise erstellen und testen Methoden wie die Suche nach neuronalen Architekturen derzeit viele verschiedene Modelle, um die beste Anpassung zu finden, und die Energie, die erforderlich ist, um all diese Iterationen abzuschließen, kann erheblich sein.
AutoML-Techniken können auch auf maschinelle Lernalgorithmen angewendet werden, die keine neuronalen Netze umfassen, z. B. das Erstellen von zufälligen Entscheidungswäldern oder Support-Vektor-Maschinen zum Klassifizieren von Daten. Die Forschung in diesen Bereichen ist weiter fortgeschritten, und viele Codierungsbibliotheken sind bereits für Personen verfügbar, die autoML-Techniken in ihre Projekte integrieren möchten.
Der nächste Schritt besteht darin, autoML zu verwenden, um Unsicherheiten zu quantifizieren und Fragen der Vertrauenswürdigkeit und Fairness in den Algorithmen zu beantworten, sagt Hutter, ein Konferenzorganisator. In dieser Vision wären Standards in Bezug auf Vertrauenswürdigkeit und Fairness ähnlich wie alle anderen Einschränkungen des maschinellen Lernens, wie z. B. Genauigkeit. Und autoML könnte in diesen Algorithmen gefundene Verzerrungen erfassen und automatisch korrigieren, bevor sie veröffentlicht werden.
Die Suche geht weiter
Aber für so etwas wie Deep Learning hat autoML noch einen langen Weg vor sich. Daten, die zum Trainieren von Deep-Learning-Modellen verwendet werden, wie Bilder, Dokumente und aufgezeichnete Sprache, sind normalerweise dicht und kompliziert. Es erfordert eine immense Rechenleistung, um damit umzugehen. Die Kosten und der Zeitaufwand für das Training dieser Modelle können für jeden unerschwinglich sein, außer für Forscher, die in finanzstarken Privatunternehmen arbeiten.
Einer der Wettbewerbe auf der Konferenz forderte die Teilnehmer auf, energieeffiziente alternative Algorithmen für die Suche nach neuronaler Architektur zu entwickeln. Es ist eine beträchtliche Herausforderung, da diese Technik berüchtigte Rechenanforderungen stellt. Es durchläuft automatisch unzählige Deep-Learning-Modelle, um Forschern bei der Auswahl des richtigen Modells für ihre Anwendung zu helfen, aber der Prozess kann Monate dauern und über eine Million Dollar kosten.
Das Ziel dieser alternativen Algorithmen, die als Nullkosten-Suchproxys für neuronale Architekturen bezeichnet werden, besteht darin, die Suche in neuronalen Architekturen zugänglicher und umweltfreundlicher zu machen, indem der Rechenhunger erheblich verringert wird. Das Ergebnis dauert nur wenige Sekunden statt Monate. Diese Techniken befinden sich noch in einem frühen Entwicklungsstadium und sind oft unzuverlässig, aber Forscher für maschinelles Lernen sagen voraus, dass sie das Potenzial haben, den Modellauswahlprozess viel effizienter zu gestalten.