In vielerlei Hinsicht ist die Arbeit mit Text-to-Video der Arbeit mit Text-to-Bild, sagt Stevenson. „Sie geben eine Textaufforderung ein und optimieren diese dann ein paar Mal“, sagt er. Aber es gibt noch eine zusätzliche Hürde. Wenn Sie verschiedene Eingabeaufforderungen ausprobieren, erstellt Sora Videos mit niedriger Auflösung. Wenn Sie auf etwas stoßen, das Ihnen gefällt, können Sie die Auflösung erhöhen. Der Übergang von niedriger zu hoher Auflösung erfordert jedoch eine weitere Generierungsrunde, und das, was Ihnen in der Version mit niedriger Auflösung gefallen hat, kann verloren gehen.
Manchmal sei der Kamerawinkel anders oder die Objekte in der Aufnahme hätten sich bewegt, sagt Stevenson. Halluzinationen sind immer noch ein Merkmal von Sora, wie in jedem generativen Modell. Bei Standbildern kann dies zu seltsamen visuellen Mängeln führen. Bei Videos können diese Fehler auch im Laufe der Zeit auftreten, mit seltsamen Sprüngen zwischen den Bildern.
Stevenson musste auch herausfinden, wie man Soras Sprache spricht. Man nehme Aufforderungen sehr wörtlich, sagt er. In einem Experiment versuchte er, eine Aufnahme zu erstellen, die einen Hubschrauber heranzoomte. Sora produzierte einen Clip, in dem er einen Hubschrauber mit dem Zoomobjektiv einer Kamera kombinierte. Aber Stevenson sagt, dass Sora dank viel kreativer Anregungen leichter zu kontrollieren ist als frühere Modelle.
Trotzdem ist er der Meinung, dass Überraschungen einen Teil des Spaßes an der Technologie ausmachen: „Ich mag es, weniger Kontrolle zu haben. Ich mag das Chaos“, sagt er. Es gibt viele andere Tools zum Erstellen von Videos, mit denen Sie die Bearbeitung und visuelle Effekte steuern können. Für Stevenson besteht der Sinn eines generativen Modells wie Sora darin, seltsames, unerwartetes Material zu entwickeln, mit dem man überhaupt arbeiten kann.
Die Clips der Tiere wurden alle mit Sora generiert. Stevenson probierte viele verschiedene Eingabeaufforderungen aus, bis das Tool etwas hervorbrachte, das ihm gefiel. „Ich habe Regie geführt, aber es ist eher ein Anstoß“, sagt er. Dann ging er hin und her und probierte Variationen aus.
Stevenson stellte sich zum Beispiel seine Fuchskrähe mit vier Beinen vor. Aber Sora gab zwei, was sogar noch besser funktionierte. (Es ist nicht perfekt: Scharfäugige Zuschauer werden sehen, dass der Fuchskrähe an einer Stelle im Video von zwei auf vier Beine wechselt und dann wieder zurück.) Sora produzierte auch mehrere Versionen, die er für zu gruselig hielt, um sie zu verwenden.
Als er eine Sammlung von Tieren hatte, die ihm wirklich gefielen, bearbeitete er sie. Dann fügte er Untertitel und einen Voice-Over hinzu. Stevenson hätte seine erfundene Menagerie mit vorhandenen Werkzeugen erstellen können. Aber es hätte Stunden, sogar Tage gedauert, sagt er. Mit Sora war der Prozess viel schneller.
„Ich habe versucht, mir etwas auszudenken, das cool aussehen würde, und habe mit vielen verschiedenen Charakteren experimentiert“, sagt er. „Ich habe so viele Clips mit zufälligen Kreaturen.“ Als er sah, was Sora mit dem Giraffenflamingo machte, machte es richtig Spaß. „Ich begann zu überlegen: Was ist die Geschichte dieser Kreatur? Was frisst es, wo lebt es?“ er sagt. Er plant, eine Reihe erweiterter Filme herauszubringen, die jedes der Fantasietiere detaillierter behandeln.
Stevenson hofft auch, dass seine fantastischen Tiere eine größere Bedeutung haben. „Es wird viele neue Arten von Inhalten geben, die Feeds überfluten“, sagt er. „Wie können wir den Menschen beibringen, was real ist? Meiner Meinung nach besteht eine Möglichkeit darin, Geschichten zu erzählen, die eindeutig Fantasie sind.“
Stevenson weist darauf hin, dass sein Film für viele Menschen das erste Mal sein könnte, dass sie ein von einem generativen Modell erstelltes Video sehen. Er möchte, dass dieser erste Eindruck eines ganz deutlich macht: Das ist nicht real.