OpenAI stellt Sora vor, ein KI-Modell zur Umwandlung von Text in Video.

Das neueste Modell von OpenAI nimmt Textnachrichten und wandelt sie in “komplexe Szenen mit mehreren Charakteren, spezifischen Bewegungsarten” und mehr um.

OpenAI Das KI-Unternehmen stellt ein neues Videogenerierungsmodell namens Sora vor. Laut dem Unternehmen kann Sora “realistische und fantasievolle Szenen aus Textanweisungen erstellen”. Mit diesem Text-zu-Video-Modell können Nutzer fotorealistische Videos von bis zu einer Minute Länge erstellen – basierend auf ihren eigenen Eingaben.

Laut [Name des Autors] kann Sora “komplexe Szenen mit mehreren Charakteren, spezifischen Bewegungsarten und präzisen Details des Motivs und des Hintergrunds” erstellen. OpenAIIn ihrem einführenden Blogbeitrag stellt das Unternehmen außerdem fest, dass das Modell verstehen kann, wie Objekte “in der physischen Welt existieren”, sowie “Requisiten präzise interpretieren und überzeugende Charaktere generieren kann, die lebhafte Emotionen ausdrücken”.”

Werbung

Das Modell kann außerdem aus einem Standbild ein Video generieren sowie fehlende Frames in einem bestehenden Video ergänzen oder es erweitern. Die von Sora generierten Demos sind enthalten in OpenAI Die Blogbeiträge enthalten unter anderem eine Luftaufnahme von Kalifornien während des Goldrausches und ein Video, das aussieht, als sei es aus einem Tokioter Zug aufgenommen worden. Viele weisen gewisse Merkmale auf. KI – wie etwa ein sich verdächtig bewegender Boden in einem Video aus einem Museum – und OpenAI gibt an, dass das Modell “Schwierigkeiten haben kann, die Physik einer komplexen Szene genau zu simulieren”, aber die Ergebnisse sind insgesamt recht beeindruckend.

Vor einigen Jahren waren Text-zu-Bild-Generatoren wie Midjourney führend in der Fähigkeit von Modellen, Wörter in Bilder umzuwandeln. Doch in letzter Zeit hat sich die Video-Umwandlung rasant verbessert: Unternehmen wie Runway und Pika haben ihre eigenen beeindruckenden Text-zu-Video-Modelle vorgestellt, und Googles Lumiere dürfte auch in diesem Bereich einer der Hauptkonkurrenten von OpenAI sein. Wie Sora bietet auch Lumiere Nutzern Text-zu-Video-Konvertierung.Werkzeug und ermöglicht es ihnen außerdem, aus einem Standbild Videos zu erstellen.

Sora steht derzeit nur “Red-Team-Mitgliedern” zur Verfügung, die das Modell auf potenzielle Schäden und Risiken prüfen. OpenAI bietet außerdem ausgewählten Grafikern, Designern und Filmemachern die Möglichkeit, Feedback zu geben. Das Unternehmen weist darauf hin, dass das bestehende Modell die Physik komplexer Szenen möglicherweise nicht präzise simuliert und einige Ursache-Wirkungs-Zusammenhänge nicht korrekt interpretiert.

Anfang des Monats kündigte OpenAI an, sein Text-zu-Bild-Tool DALL-E 3 mit Wasserzeichen zu versehen, merkte aber an, dass diese “leicht entfernt werden können”. Wie bei seinen anderen KI-Produkten wird OpenAI mit den Folgen konfrontiert sein, wenn gefälschte, KI-generierte fotorealistische Videos mit echten verwechselt werden. .