Naveen Rao, ein Neurowissenschaftler, der zum Technologieunternehmer wurde, versuchte einst, mit Nvidia zu konkurrieren, dem weltweit führenden Hersteller von Chips, die auf künstliche Intelligenz zugeschnitten sind.
Bei einem Start-up, das später vom Halbleitergiganten Intel aufgekauft wurde, arbeitete Herr Rao an Chips, die Nvidias Grafikprozessoren ersetzen sollten, bei denen es sich um Komponenten handelt, die für KI-Aufgaben wie maschinelles Lernen angepasst sind. Aber während Intel langsam vorging, rüstete Nvidia seine Produkte schnell mit neuen KI-Funktionen auf, die im Widerspruch zu seinen Entwicklungen standen, sagte Herr Rao.
Nachdem er Intel verlassen hatte und ein Software-Start-up namens „MosaicML“ leitete, nutzte Herr Rao die Chips von Nvidia und vergleichte sie mit denen von Konkurrenten. Er stellte fest, dass sich Nvidia über die Chips hinaus durch die Schaffung einer großen Gemeinschaft von KI-Programmierern differenziert hatte, die ständig mit der Technologie des Unternehmens erfinden.
„Jeder baut zuerst auf Nvidia“, sagte Herr Rao. „Wenn Sie ein neues Stück Hardware auf den Markt bringen, müssen Sie aufholen.“
Im Laufe von mehr als 10 Jahren hat sich Nvidia einen nahezu uneinnehmbaren Vorsprung bei der Herstellung von Chips erarbeitet, die komplexe KI-Aufgaben wie Bild-, Gesichts- und Spracherkennung ausführen und Text für Chatbots wie ChatGPT generieren können. Der einstige Branchenneuling erreichte diese Dominanz, indem er den KI-Trend frühzeitig erkannte, seine Chips auf diese Aufgaben zugeschnitten und dann wichtige Softwareteile entwickelt hatte, die die KI-Entwicklung unterstützen.
Jensen Huang, Mitbegründer und CEO von Nvidia, hat seitdem die Messlatte immer höher gelegt. Um seine führende Position zu behaupten, hat sein Unternehmen seinen Kunden auch Zugang zu Spezialcomputern, Computerdiensten und anderen Tools ihrer aufstrebenden Branche angeboten. Das hat Nvidia in jeder Hinsicht zu einem One-Stop-Shop für die KI-Entwicklung gemacht.
Während Google, Amazon, Meta, IBM und andere ebenfalls KI-Chips hergestellt haben, macht Nvidia laut dem Forschungsunternehmen Omdia heute mehr als 70 Prozent des KI-Chip-Umsatzes aus und hat eine noch größere Position beim Training generativer KI-Modelle.
Im Mai wurde der Status des Unternehmens als sichtbarster Gewinner der KI-Revolution deutlich, als es einen Anstieg des Quartalsumsatzes um 64 Prozent prognostizierte, weit mehr als von der Wall Street erwartet. Am Mittwoch wird erwartet, dass Nvidia – dessen Marktkapitalisierung auf über eine Billion US-Dollar gestiegen ist und sich zum wertvollsten Chiphersteller der Welt entwickelt hat – diese Rekordergebnisse bestätigen und weitere Signale für die boomende KI-Nachfrage liefern wird.
„Kunden werden 18 Monate warten, um ein Nvidia-System zu kaufen, anstatt einen verfügbaren, serienmäßigen Chip von einem Start-up oder einem anderen Konkurrenten zu kaufen“, sagte Daniel Newman, Analyst bei der Futurum Group. “Es ist unglaublich.”
Herr Huang, 60, der für seine charakteristische schwarze Lederjacke bekannt ist, sprach jahrelang über KI, bevor er zu einem der bekanntesten Gesichter der Bewegung wurde. Er hat öffentlich gesagt, dass die Datenverarbeitung den größten Wandel durchlebe, seit IBM vor 60 Jahren definiert habe, wie die meisten Systeme und Software funktionieren. Jetzt, sagte er, ersetzen GPUs und andere Spezialchips Standard-Mikroprozessoren, und KI-Chatbots ersetzen komplexe Software-Codierung.
„Wir haben verstanden, dass dies eine Neuerfindung der Art und Weise ist, wie Computer betrieben werden“, sagte Herr Huang in einem Interview. „Und wir haben alles von Grund auf aufgebaut, vom Prozessor bis zum Ende.“
Herr Huang half 1993 bei der Gründung von Nvidia, um Chips herzustellen, die Bilder in Videospielen rendern. Während Standard-Mikroprozessoren hervorragend darin sind, komplexe Berechnungen sequenziell durchzuführen, erledigen die GPUs des Unternehmens viele einfache Aufgaben gleichzeitig.
Im Jahr 2006 ging Herr Huang noch einen Schritt weiter. Er kündigte eine Softwaretechnologie namens CUDA an, die dabei half, die GPUs für neue Aufgaben zu programmieren und sie von Einzweck-Chips in Allzweck-Chips umzuwandeln, die andere Aufgaben in Bereichen wie Physik und chemischen Simulationen übernehmen könnten.
Ein großer Durchbruch gelang 2012, als Forscher mithilfe von GPUs eine menschenähnliche Genauigkeit bei Aufgaben wie dem Erkennen einer Katze in einem Bild erreichten – ein Vorläufer neuer Entwicklungen wie der Generierung von Bildern aus Textaufforderungen.
Nvidia reagierte, indem es „jeden Aspekt unseres Unternehmens darauf ausrichtete, dieses neue Feld voranzutreiben“, sagte Herr Jensen kürzlich in einer Eröffnungsrede an der National Taiwan University.
Der Aufwand, der nach Schätzungen des Unternehmens im Laufe eines Jahrzehnts mehr als 30 Milliarden US-Dollar gekostet hat, machte Nvidia zu mehr als nur einem Komponentenlieferanten. Neben der Zusammenarbeit mit führenden Wissenschaftlern und Start-ups hat das Unternehmen ein Team aufgebaut, das direkt an KI-Aktivitäten wie der Erstellung und dem Training von Sprachmodellen beteiligt ist.
Eine Vorwarnung darüber, was KI-Anwender brauchen, veranlasste Nvidia dazu, über CUDA hinaus viele Schichten wichtiger Software zu entwickeln. Dazu gehörten Hunderte vorgefertigter Codeteile, sogenannte Bibliotheken, die den Programmierern Arbeit ersparen.
Bei der Hardware erlangte Nvidia den Ruf, alle paar Jahre konstant schnellere Chips zu liefern. Im Jahr 2017 begann das Unternehmen mit der Optimierung von GPUs, um bestimmte KI-Berechnungen durchzuführen.
Im selben Jahr begann Nvidia, das normalerweise Chips oder Leiterplatten für Systeme anderer Unternehmen verkaufte, auch mit dem Verkauf kompletter Computer, um KI-Aufgaben effizienter auszuführen. Einige seiner Systeme haben mittlerweile die Größe von Supercomputern, die das Unternehmen mit proprietärer Netzwerktechnologie und Tausenden von GPUs aufbaut und betreibt. Solche Hardware kann Wochen in Anspruch nehmen, um die neuesten KI-Modelle zu trainieren.
„Diese Art der Datenverarbeitung ermöglicht es nicht, einfach einen Chip zu bauen und die Kunden ihn zu nutzen“, sagte Herr Huang in dem Interview. „Man muss das gesamte Rechenzentrum bauen.“
Im vergangenen September kündigte Nvidia die Produktion neuer Chips mit dem Namen H100 an, die für sogenannte Transformer-Operationen erweitert wurden. Solche Berechnungen erwiesen sich als Grundlage für Dienste wie ChatGPT, die das ausgelöst haben, was Herr Huang den „iPhone-Moment“ der generativen KI nennt
Um seinen Einfluss weiter auszubauen, hat Nvidia kürzlich auch Partnerschaften mit großen Technologieunternehmen geschlossen und in hochkarätige KI-Start-ups investiert, die seine Chips nutzen. Eines davon war Inflection AI, das im Juni eine Finanzierung in Höhe von 1,3 Milliarden US-Dollar von Nvidia und anderen ankündigte. Mit dem Geld wurde der Kauf von 22.000 H100-Chips finanziert.
Mustafa Suleyman, Vorstandsvorsitzender von Inflection, sagte, es gebe keine Verpflichtung, Nvidia-Produkte zu verwenden, aber die Konkurrenz biete keine brauchbare Alternative an. „Keiner von ihnen kommt auch nur annähernd heran“, sagte er.
Nvidia hat in letzter Zeit auch Bargeld und die knappen H100 in neue Cloud-Dienste wie CoreWeave gesteckt, die es Unternehmen ermöglichen, Zeit auf Computern zu mieten, anstatt eigene zu kaufen. CoreWeave, das die Hardware von Inflection betreiben wird und mehr als 45.000 Nvidia-Chips besitzt, hat diesen Monat Schulden in Höhe von 2,3 Milliarden US-Dollar aufgenommen, um den Kauf weiterer Chips zu unterstützen.
Angesichts der Nachfrage nach seinen Chips muss Nvidia entscheiden, wer wie viele davon bekommt. Diese Macht beunruhigt einige Technologiemanager.
„Es ist wirklich wichtig, dass Hardware nicht zum Engpass für KI oder zum Gatekeeper für KI wird“, sagte Clément Delangue, Geschäftsführer von Hugging Face, einem Online-Repository für Sprachmodelle, das mit Nvidia und seinen Konkurrenten zusammenarbeitet.
Einige Konkurrenten sagten, es sei schwierig, mit einem Unternehmen zu konkurrieren, das Computer, Software, Cloud-Dienste und trainierte KI-Modelle sowie Prozessoren verkauft.
„Anders als jedes andere Chipunternehmen waren sie bereit, offen mit ihren Kunden zu konkurrieren“, sagte Andrew Feldman, Geschäftsführer von Cerebras, einem Start-up, das KI-Chips entwickelt.
Doch zumindest öffentlich beschweren sich nur wenige Kunden. Sogar Google, das vor mehr als einem Jahrzehnt mit der Entwicklung konkurrierender KI-Chips begann, verlässt sich bei einigen seiner Arbeiten auf die GPUs von Nvidia.
Die Nachfrage nach Googles eigenen Chips sei „enorm“, sagte Amin Vahdat, Google-Vizepräsident und General Manager für Computerinfrastruktur. Aber er fügte hinzu: „Wir arbeiten sehr eng mit Nvidia zusammen.“
Nvidia spricht nicht über Preise oder Chip-Zuteilungsrichtlinien, aber Branchenmanager und Analysten sagten, dass jeder H100 je nach Verpackung und anderen Faktoren 15.000 bis mehr als 40.000 US-Dollar kostet – etwa zwei- bis dreimal mehr als der Vorgänger-A100-Chip.
Die Preisgestaltung „ist ein Bereich, in dem Nvidia anderen Leuten viel Spielraum gelassen hat, um zu konkurrieren“, sagte David Brown, Vizepräsident der Cloud-Abteilung von Amazon, und argumentierte, dass die eigenen KI-Chips im Vergleich zu den ebenfalls verwendeten Nvidia-Chips ein Schnäppchen seien.
Herr Huang sagte, die höhere Leistung seiner Chips habe den Kunden Geld gespart. „Wenn Sie die Schulungszeit in einem 5-Milliarden-Dollar-Rechenzentrum auf die Hälfte reduzieren können, übersteigen die Einsparungen die Kosten für alle Chips“, sagte er. „Wir sind die kostengünstigste Lösung der Welt.“
Er hat auch damit begonnen, ein neues Produkt zu bewerben, Grace Hopper, das GPUs mit intern entwickelten Mikroprozessoren kombiniert und damit Chips entgegenwirkt, von denen Konkurrenten sagen, dass sie viel weniger Energie für die Ausführung von KI-Diensten verbrauchen.
Dennoch scheint mehr Wettbewerb unvermeidlich. Einer der vielversprechendsten Teilnehmer im Rennen sei eine von Advanced Micro Devices verkaufte GPU, sagte Herr Rao, dessen Start-up kürzlich vom Daten- und KI-Unternehmen DataBricks gekauft wurde.
„Egal wie jemand sagen will, dass alles erledigt ist, es ist noch nicht alles erledigt“, sagte Lisa Su, Geschäftsführerin von AMD.
Cade Metz hat zur Berichterstattung beigetragen.