OpenAI introduceert Sora, een AI-model voor tekst-naar-video

Het nieuwste model van OpenAI verwerkt tekstberichten tot 'complexe scènes met meerdere personages, specifieke soorten bewegingen' en meer.

OpenAI lanceert een nieuw videogeneratiemodel, genaamd Sora. Het AI-bedrijf zegt dat Sora "realistische en fantasierijke scènes kan creëren op basis van tekstinstructies." Met het tekst-naar-videomodel kunnen gebruikers fotorealistische video's maken van maximaal een minuut lang – allemaal gebaseerd op de prompts die ze zelf hebben geschreven.

Sora kan “complexe scènes met meerdere personages, specifieke soorten bewegingen en precieze details van het onderwerp en de achtergrond” creëren, aldus OpenAIIn de inleidende blogpost van het bedrijf wordt ook vermeld dat het model kan begrijpen hoe objecten "in de fysieke wereld bestaan", en dat het "rekwisieten nauwkeurig kan interpreteren en boeiende personages kan genereren die levendige emoties uitdrukken".

Het model kan ook een video genereren op basis van een stilstaand beeld, en ontbrekende frames in een bestaande video invullen of uitbreiden. De door Sora gegenereerde demo's in OpenAI's blogposts bevatten onder andere een luchtfoto van Californië tijdens de goudkoorts, een video die eruitziet alsof hij vanuit een trein in Tokio is opgenomen, en meer. Veel blogposts vertonen tekenen van KI – zoals een verdacht bewegende vloer in een video van een museum – en OpenAI zegt dat het model “moeite kan hebben met het nauwkeurig simuleren van de fysica van een complexe scène”, maar de resultaten zijn over het algemeen behoorlijk indrukwekkend.

Een paar jaar geleden liepen tekst-naar-beeldgeneratoren zoals Midjourney voorop in het vermogen van modellen om woorden in beelden om te zetten. Maar de laatste tijd is video in een opmerkelijk tempo verbeterd: bedrijven zoals Runway en Pika hebben hun eigen indrukwekkende tekst-naar-videomodellen laten zien, en Google's Lumiere lijkt ook op dit gebied een van de belangrijkste concurrenten van OpenAI te worden. Net als Sora biedt Lumiere gebruikers tekst-naar-video-ondersteuning.hulpmiddel en biedt hen ook de mogelijkheid om video's te maken van een stilstaand beeld.

Sora Het is momenteel alleen beschikbaar voor "red teamers" die het model beoordelen op mogelijke schade en risico's. OpenAI biedt ook toegang aan een selecte groep visuele kunstenaars, ontwerpers en filmmakers voor feedback. Het bedrijf merkt op dat het bestaande model de fysica van een complexe scène mogelijk niet nauwkeurig simuleert en sommige gevallen van oorzaak en gevolg mogelijk niet correct interpreteert.

Eerder deze maand kondigde OpenAI aan dat het watermerken zou toevoegen aan zijn tekst-naar-afbeelding-tool DALL-E 3, maar merkte op dat deze "gemakkelijk te verwijderen" zijn. Net als zijn andere AI-producten zal OpenAI te maken krijgen met de gevolgen van neppe, door AI gegenereerde fotorealistische video's die voor echte video's worden aangezien. .