OpenAI esittelee Soran, tekstistä videoksi muuntavan tekoälymallin

OpenAI:n uusin malli muuttaa tekstiviestit "monimutkaisiksi kohtauksiksi, joissa on useita hahmoja, tietyntyyppisiä liikkeitä" ja paljon muuta.

OpenAI lanseeraa uuden videoiden luontimallin, jonka nimi on Sora. Tekoälyyritys sanoo, että Sora "pystyy luomaan realistisia ja mielikuvituksellisia kohtauksia tekstiohjeista". Tekstistä videoksi -malli antaa käyttäjille mahdollisuuden luoda jopa minuutin pituisia fotorealistisia videoita – kaikki heidän kirjoittamiensa kehotteiden perusteella.

Sora pystyy luomaan "monimutkaisia kohtauksia, joissa on useita hahmoja, tietynlaisia liikkeitä ja tarkkoja yksityiskohtia kohteesta ja taustasta", OpenAI:n johdantoblogikirjoitus. Yritys huomauttaa myös, että malli pystyy ymmärtämään, miten esineet “ovat olemassa fyysisessä maailmassa”, sekä “tulkitsemaan rekvisiittaa tarkasti ja luomaan mukaansatempaavia hahmoja, jotka ilmaisevat eläviä tunteita”.

Malli voi myös luoda videon still-kuvan perusteella sekä täyttää puuttuvia ruutuja olemassa olevasta videosta tai pidentää sitä. Soran luomat demot sisältyvät OpenAI:n blogikirjoituksissa on ilmakuva Kaliforniasta kultaryntäyksen aikana, video, joka näyttää siltä kuin se olisi kuvattu Tokion junan sisältä, ja muita. Monissa on joitakin merkkejä Tekoäly – kuten epäilyttävästi liikkuva lattia museovideossa – ja OpenAI:n mukaan mallilla "voi olla vaikeuksia simuloida tarkasti monimutkaisen kohtauksen fysiikkaa", mutta tulokset ovat kaiken kaikkiaan varsin vaikuttavia.

Muutama vuosi sitten tekstistä kuvaksi -generaattorit, kuten Midjourney, olivat eturintamassa mallien kyvyssä muuntaa sanoja kuviksi. Mutta viime aikoina video on alkanut kehittyä huomattavaa vauhtia: yritykset, kuten Runway ja Pika, ovat esitelleet omia vaikuttavia tekstistä videoksi -mallejaan, ja Googlen Lumiere on yksi OpenAI:n pääkilpailijoista myös tällä alueella. Kuten Sora, Lumiere tarjoaa käyttäjille tekstistä videoksi -ominaisuuden.työkalu ja antaa heille myös mahdollisuuden luoda videoita still-kuvista.

Sora on tällä hetkellä saatavilla vain “punaisen tiimin” jäsenille, jotka arvioivat mallin mahdollisia haittoja ja riskejä. OpenAI tarjoaa myös pääsyn valituille kuvataiteilijoille, suunnittelijoille ja elokuvantekijöille palautteen antamiseksi. Se huomauttaa, että nykyinen malli ei välttämättä simuloi monimutkaisen kohtauksen fysiikkaa tarkasti eikä tulkitse oikein joitakin syy-seuraussuhteita.

Aiemmin tässä kuussa OpenAI ilmoitti lisäävänsä vesileimoja tekstistä kuvaksi -työkaluunsa DALL-E 3, mutta huomauttaa, että ne "voidaan helposti poistaa". Kuten muutkin tekoälytuotteensa, OpenAI:n on taisteltava tekoälyn luomien väärennettyjen, fotorealististen videoiden luulemisen seurausten kanssa. .