Adobe-Forscher haben ein neues generatives KI-Modell namens VideoGigaGAN entwickelt, das verschwommene Videos auf das Achtfache ihrer ursprünglichen Auflösung hochskalieren kann. Adobe behauptet in einem am 18. April veröffentlichten Artikel, dass VideoGigaGAN anderen Video Super Resolution (VSR)-Methoden überlegen sei, da es feinkörnigere Details liefern könne, ohne dem Filmmaterial irgendeine „KI-Verrücktheit“ zu verleihen.
Kurz gesagt: Generative Adversarial Networks (GANs) eignen sich effektiv für die Hochskalierung von Standbildern auf eine höhere Auflösung, haben jedoch Schwierigkeiten, dasselbe bei Videos zu erreichen, ohne dass es zu Flimmern und anderen unerwünschten Artefakten kommt. Andere Upscaling-Methoden können dies vermeiden, die Ergebnisse sind jedoch nicht so scharf und detailliert. Ziel von VideoGigaGAN ist es, das Beste aus beiden Welten zu bieten – die höhere Bild-/Videoqualität von GAN-Modellen mit weniger Flimmer- oder Verzerrungsproblemen in den Ausgabebildern. Das Unternehmen hat hier mehrere Beispiele bereitgestellt, die seine Arbeit in voller Auflösung zeigen.
Einige der feineren Details in den von Adobe bereitgestellten Democlips wirken völlig künstlich, wie etwa die Hautstruktur und Falten im folgenden Beispiel, aber die Ergebnisse wirken beeindruckend natürlich. Es wäre schwer zu sagen, dass generative KI zur Verbesserung der Auflösung verwendet wurde, was die Debatte „Was ist ein Foto?“ auf Videos ausdehnen könnte.
Dies ist nur eine Forschungsvorschau, daher gibt es keine Garantie dafür, dass Adobe den Verbrauchern VideoGigaGAN über Creative Cloud-Software wie Premiere Pro zur Verfügung stellt. Das Unternehmen hatte zuvor während seiner MAX-Veranstaltung im Oktober 2023 eine Vorschau auf ein separates diffusionsbasiertes Upsampling-Experiment namens Project Res-Up gezeigt, das die Qualität von GIFs und Videomaterial mit niedriger Auflösung ebenfalls verbessert. Und Adobe ist mit dieser Arbeit nicht allein, denn sowohl Microsoft als auch Nvidia haben ebenfalls ihre eigene VSR-Upscaling-Technologie entwickelt.