Microsoft möchte generative KI in den Vordergrund von Windows – und den PCs, auf denen es läuft – bringen.
Bei zwei Keynotes während seiner jährlichen Build-Entwicklerkonferenz in dieser Woche stellte das Unternehmen eine neue Reihe von Windows-Computern namens Copilot+ PCs sowie generative KI-gestützte Funktionen wie Recall vor, die Benutzern das Auffinden von Apps, Dateien und anderen Inhalten erleichtern in der Vergangenheit gesehen. Copilot, Microsofts Marke für generative KI, wird bald viel stärker in das Windows 11-Erlebnis integriert. Und neue Microsoft Surface-Geräte sind auf dem Weg.
Alle wichtigen Ankündigungen vom Montag und Dienstag haben wir hier zusammengefasst.
Volumetrische Apps
Microsoft bringt Windows Volumetric Apps – im Grunde raumbezogene, interaktive VR-Apps – auf Meta Quest-Headsets. Durch eine Partnerschaft mit Meta gibt Microsoft bekannt, dass es Windows 365 und lokale PC-Konnektivität für Quest-Headsets bereitstellen wird, sodass Entwickler ihre Apps in den 3D-Raum erweitern können.
Während der Keynote am Dienstag zeigte Microsoft eine digitale 3D-Explosionsansicht eines Xbox-Controllers aus der Perspektive eines Meta Quest 3-Headsets – eines digitalen Objekts, das der Träger mit den Händen manipulieren konnte. „Wir vertiefen unsere Partnerschaft mit Meta, um Windows auf Quest-Geräten zu einem erstklassigen Erlebnis zu machen“, sagte Pavan Davuluri, CVP für Windows und Geräte bei Microsoft, während der Demo.
Entwickler können sich für eine Vorschau anmelden, um Zugriff auf die neue volumetrische API von Microsoft zu erhalten.
Copilot+ PCs
Copilot+-PCs sind Microsofts Vision einer AI-first-Flaggschiff-Windows-Hardware. Alle verfügen über dedizierte Chips, sogenannte NPUs, um KI-Erlebnisse wie Recall zu ermöglichen. Und sie werden mit mindestens 16 GB RAM, gepaart mit SSD-Speicher, ausgeliefert.
Die ersten Copilot+-PCs werden mit den Snapdragon X Elite- und Plus-Chips von Qualcomm ausgestattet sein, die laut Microsoft bis zu 15 Stunden Surfen im Internet und 20 Stunden Video-Akkulaufzeit ermöglichen. Die Chiphersteller Intel und AMD engagieren sich außerdem in der Entwicklung von Prozessoren für Copilot+-Geräte in Zusammenarbeit mit einer Reihe von Herstellern, darunter Acer, Asus, Dell, HP, Lenovo und Samsung.
Copilot+-PCs beginnen bei 999 US-Dollar und einige können noch heute vorbestellt werden.
Surface Pro und Surface Laptop
Bei den neu vorgestellten Surface-Geräten von Microsoft, dem Surface Laptop und dem Surface Pro, liegt der Schwerpunkt auf Leistung und Akku.
Der neueste Surface Laptop – erhältlich mit 13,8- oder 15-Zoll-Display – wurde mit „modernen Linien“ und dünneren Bildschirmrändern neu gestaltet. Laut Angaben des Unternehmens hält er mit einer Ladung bis zu 22 Stunden und ist bis zu 86 % schneller als der Surface Laptop 5. Außerdem unterstützt er Wi-Fi 7 und verfügt über ein Touchpad mit haptischem Feedback.
Was das neue Surface Pro angeht, sagt Microsoft, dass es bis zu 90 % schneller ist als das Surface Pro der vorherigen Generation (das Surface Pro 9) und über ein neues OLED mit HDR-Display, Wi-Fi 7 (und optional 5G) verfügt verbesserte Ultraweitwinkel-Frontkamera. Auch seine abnehmbare Tastatur – die mit zusätzlicher Kohlefaser verstärkt wurde – verfügt jetzt über haptisches Feedback.
Abrufen
Die bevorstehende Recall-Funktion von Windows 11 kann sich Apps und Inhalte „merken“, auf die ein Benutzer vor Wochen oder sogar Monaten auf seinem PC zugegriffen hat, und ihm beispielsweise helfen, einen Discord-Chat zu finden, in dem er über Kleidung diskutiert, die er kaufen möchte. Benutzer können die Zeitleiste von Recall verwenden, um „zurückzuscrollen“, um zu sehen, woran sie in der jüngeren Vergangenheit gearbeitet haben, und einen Drilldown in Dateien wie PowerPoint-Präsentationen durchzuführen, um Informationen anzuzeigen, die möglicherweise für ihre Suche relevant sind.
Microsoft sagt, dass Recall Assoziationen zwischen Farben, Bildern und mehr herstellen kann, um Benutzern die Suche nach praktisch allem auf ihren PCs in natürlicher Sprache zu ermöglichen (nicht unähnlich der Technologie des Startups Rewind); Entwickler können Recall verbessern, indem sie ihren Apps Kontextinformationen hinzufügen. Und Microsoft behauptet, dass alle mit Recall verbundenen Benutzerdaten privat und auf dem Gerät bleiben – und, was wichtig ist, nicht zum Trainieren von KI-Modellen verwendet werden.
Hier ist mehr von Microsoft: „Ihre Snapshots gehören Ihnen; Sie bleiben lokal auf Ihrem PC. Sie können einzelne Schnappschüsse löschen, Zeitbereiche in den Einstellungen anpassen und löschen oder jederzeit direkt über das Symbol in der Taskleiste Ihrer Taskleiste pausieren. Sie können Apps und Websites auch so filtern, dass sie nie gespeichert werden.“
Bildbearbeitung und Live-Übersetzungen
Es gibt jetzt mehr KI in Windows als je zuvor und einige davon exklusiv auf den neuen Copilot+-PCs.
Eine neue Funktion namens Super Resolution kann alte Fotos wiederherstellen, indem sie automatisch hochskaliert wird. Und Copilot kann jetzt Bilder analysieren, um Benutzern Ideen für kreative Kompositionen zu geben. Über eine Funktion namens Cocreator können Benutzer Bilder generieren und das KI-Modell außerdem bitten, dem zu folgen, was sie zeichnen, um das Bild zu ändern oder neu zu gestalten.
Darüber hinaus übersetzt Live Captions mit Live-Übersetzungen alle Audiodaten, die über einen PC laufen – egal ob von YouTube oder einer lokalen Datei – in die vom Benutzer gewählte Sprache. Live-Übersetzungen werden zunächst rund 40 Sprachen unterstützen, darunter Englisch, Spanisch, Mandarin und Russisch.
Eine separate, aber verwandte neue Funktion in Microsoft Edge bietet Echtzeit-Videoübersetzung auf Websites wie LinkedIn, YouTube, Coursera, Reuters, CNBC, Bloomberg und mehr. Die Funktion, die die Übersetzung vom Spanischen ins Englische und vom Englischen ins Deutsche, Hindi, Italienisch, Russische und Spanische unterstützt, soll in naher Zukunft verfügbar sein und übersetzt gesprochene Inhalte sowohl durch Synchronisation als auch durch Live-Untertitel.
Team Copilot und Erweiterungen
Team Copilot ist die neueste Erweiterung der wachsenden Copilot-Suite generativer KI-Technologie von Microsoft. Es lässt sich in Teams, die Videokonferenz-App des Unternehmens, integrieren, um die Verwaltung von Besprechungsplänen zu erleichtern und Notizen zu machen, die jeder in einer Besprechung gemeinsam verfassen kann. Und es erstreckt sich auf Loop und Planner, die Kollaborations- und Planungsplattformen von Microsoft, um Aufgaben zu erstellen und zuzuweisen, Fristen zu verfolgen und Teammitglieder zu benachrichtigen, wenn ihre Eingaben erforderlich sind.
In etwas verwandten Copilot-Neuigkeiten hat Microsoft (in privater Vorschau) Copilot-Erweiterungen eingeführt, die es Entwicklern ermöglichen, GitHubs Code-Generierungstool GitHub Copilot mit Apps und Fähigkeiten von Drittanbietern zu erweitern. Zu den Startpartnern gehören DataStax, Docker und LambdaTest; Erweiterungen werden im GitHub-Marktplatz verfügbar sein, aber Entwickler können auch ihre eigenen privaten Erweiterungen erstellen, um sie in ihre internen Systeme und APIs zu integrieren.
Windows Copilot Runtime
Hinter Funktionen wie Recall und Super Resolution steht die Windows Copilot Runtime, eine Sammlung von ca. 40 generativen KI-Modellen, die das bilden, was Microsoft als „neue Schicht“ von Windows bezeichnet. Zusammen mit dem semantischen Index, einem vektorbasierten System, das lokal auf einem einzelnen Copilot+-PC installiert ist, ermöglicht die Windows Copilot Runtime die Ausführung generativer KI-gestützter Apps – einschließlich Apps von Drittanbietern –, ohne dass unbedingt eine Internetverbindung erforderlich ist.
„[The runtime] besteht aus gebrauchsfertigen KI-APIs wie Studio-Effekten, Übersetzungen von Live-Untertiteln, OCR, Rückruf mit Benutzeraktivität und [more]das im Juni für Entwickler verfügbar sein wird“, sagte Davuluri am Dienstag.
Microsoft sagt, dass CapCut, der beliebte Videoeditor des TikTok-Eigentümers ByteDance, die Windows Copilot Runtime und die dazugehörige neue Windows Copilot Library, eine Reihe von APIs und KI-Entwicklungstools, verwenden wird, um seine KI-Funktionen zu beschleunigen. Und Meta wird WhatsApp die oben genannten Studioeffekte hinzufügen, um Funktionen wie Hintergrundunschärfe und Augenkontakt während Videoanrufen bereitzustellen.
Verbesserte Bot-Builder
Azure AI Studio, das Toolset innerhalb des Azure OpenAI Service von Microsoft, mit dem Kunden ein KI-Modell kombinieren und eine App erstellen können, die diese Daten „bewertet“, wird es Entwicklern bald ermöglichen, Apps mithilfe von Pay-as-you-go-Inferenz-APIs zu erstellen – den APIs, über die Entwickler auf generative KI-Modelle zugreifen und diese optimieren können, die auf der Azure-Infrastruktur gehostet werden. Microsoft nennt dies „Model-as-a-Service“ und startet zunächst mit Modellen von Nixtla und Core42.
In der angrenzenden Produktsuite Copilot Studio bringt Microsoft Copilot-Agenten auf den Markt, die das Unternehmen als KI-Bots beschreibt, die „auf bestimmte Rollen und Funktionen zugeschnittene Aufgaben selbstständig orchestrieren können“. (Copilot Studio bietet Tools, um Copilot für Microsoft 365, den KI-gestützten „Copilot“ in Apps wie Excel und Word, mit Daten von Drittanbietern zu verbinden.) Mithilfe von Speicher und Kontextwissen können Copilot-Agenten durch verschiedene Arten von Geschäftsabläufen navigieren. Lernen Sie aus dem Feedback der Benutzer und bitten Sie um Hilfe, wenn Sie auf Situationen stoßen, mit denen Sie nicht umgehen können.
Snapdragon-Entwicklungskit
Es gibt ein neues Entwicklungskit von Qualcomm, das sich an Entwickler richtet, die Apps für Copilot+-PCs mit vielen Armchips entwickeln
Das 899,99 US-Dollar teure Snapdragon Dev Kit für Windows – das übrigens ungefähr die gleiche Breite, Höhe und Länge wie Apples Mac Mini hat – enthält den Snapdragon X Elite-Chip von Qualcomm, gepaart mit 32 GB RAM, 512 GB Speicher und viel I/O. Das Dev Kit unterstützt Wi-Fi 7 und Bluetooth 5.4 und kann über seine verschiedenen USB-C- und HDMI-Anschlüsse bis zu drei 4K-Monitore gleichzeitig ansteuern.
Phi-3
Microsoft hat eine Erweiterung seiner generativen KI-Modellfamilie Phi angekündigt: Phi-3-vision, das allgemeine visuelle Analyse- und Denkaufgaben ausführen kann, wie etwa das Beantworten von Fragen zu Diagrammen und Bildern. Das Modell kann sowohl Text als auch Bilder lesen und ist effizient genug, um auf einem Mobilgerät ausgeführt zu werden.
Phi-3-vision ist in der Vorschau verfügbar, während die zuvor angekündigten Nur-Text-Gegenstücke des Modells – Phi-3-mini, Phi-3-small und Phi-3-medium – jetzt allgemein verfügbar sind.
Partnerschaft mit der Khan Academy
Microsoft arbeitet mit der Khan Academy zusammen, um Zugang zur Cloud-Computing-Infrastruktur zu spenden, sodass die Khan Academy Pädagogen in den USA kostenlosen Zugang zu den KI-gestützten Tools der Khan Academy bieten kann. Die beiden Unternehmen werden auch zusammenarbeiten, um Möglichkeiten zur Verbesserung von KI-Apps für den Mathe-Nachhilfeunterricht durch generative KI zu erkunden, teilte Microsoft am Dienstag mit.
Wir starten einen KI-Newsletter! Melden Sie sich an Hier um es ab dem 5. Juni in Ihren Posteingängen zu erhalten.