OpenAI stellt Sora vor, ein KI-Modell zur Umwandlung von Text in Video.

Das neueste Modell von OpenAI nimmt Textnachrichten und wandelt sie in “komplexe Szenen mit mehreren Charakteren, spezifischen Bewegungsarten” und mehr um.

OpenAI bringt ein neues Videogenerationsmodell auf den Markt, und zwar mit dem Namen Sora. KI Das Unternehmen gibt an, dass Sora “aus Textanweisungen realistische und fantasievolle Szenen erstellen kann”. Das Text-zu-Video-Modell ermöglicht es Benutzern, fotorealistische Videos von bis zu einer Minute Länge zu erstellen – alles basierend auf von ihnen verfassten Anweisungen.

Laut [Name des Autors] kann Sora “komplexe Szenen mit mehreren Charakteren, spezifischen Bewegungsarten und präzisen Details des Motivs und des Hintergrunds” erstellen. OpenAIIn ihrem einführenden Blogbeitrag stellt das Unternehmen außerdem fest, dass das Modell verstehen kann, wie Objekte “in der physischen Welt existieren”, sowie “Requisiten präzise interpretieren und überzeugende Charaktere generieren kann, die lebhafte Emotionen ausdrücken“.

Das Modell kann außerdem aus einem Standbild ein Video generieren sowie fehlende Frames in einem bestehenden Video ergänzen oder es erweitern. Die von Sora generierten Demos sind enthalten in OpenAI Die Blogbeiträge enthalten unter anderem eine Luftaufnahme von Kalifornien während des Goldrausches und ein Video, das aussieht, als sei es aus einem Tokioter Zug aufgenommen worden. Viele weisen gewisse Merkmale auf. KI – wie etwa ein sich verdächtig bewegender Boden in einem Video aus einem Museum – und OpenAI gibt an, dass das Modell “Schwierigkeiten haben kann, die Physik einer komplexen Szene genau zu simulieren”, aber die Ergebnisse sind insgesamt recht beeindruckend.

Vor einigen Jahren waren Text-zu-Bild-Generatoren wie Midjourney führend in der Fähigkeit von Modellen, Wörter in Bilder umzuwandeln. Doch in letzter Zeit hat sich die Video-Umwandlung rasant verbessert: Unternehmen wie Runway und Pika haben ihre eigenen beeindruckenden Text-zu-Video-Modelle vorgestellt, und Googles Lumiere dürfte auch in diesem Bereich einer der Hauptkonkurrenten von OpenAI sein. Wie Sora bietet auch Lumiere Nutzern Text-zu-Video-Konvertierung.Werkzeug und ermöglicht es ihnen außerdem, aus einem Standbild Videos zu erstellen.

Sora Derzeit steht das Modell nur “Red-Team-Mitgliedern” zur Verfügung, die es auf potenzielle Schäden und Risiken prüfen. OpenAI bietet außerdem ausgewählten Grafikern, Designern und Filmemachern die Möglichkeit, Feedback zu geben. Das Unternehmen weist darauf hin, dass das bestehende Modell die Physik komplexer Szenen möglicherweise nicht präzise simuliert und einige Ursache-Wirkungs-Zusammenhänge nicht korrekt interpretiert.

Anfang dieses Monats kündigte OpenAI an, seinem Text-zu-Bild-Tool DALL-E 3 Wasserzeichen hinzuzufügen, wies aber darauf hin, dass diese “leicht entfernt werden können”. Wie auch bei anderen Tools von OpenAI… KIProdukte, OpenAI wird mit den Folgen falscher, KI-Fotorealistische Videos werden mit der Realität verwechselt. .