Tencentin Hunyuan-GameCraft on villi AI-teknologia pelattavien videoiden luomiseen

Tencentin Hunyuan -tiimi on julkaissut jotain todella urheilullista: uuden teknologian nimeltä Hunyuan-GameCraft. Tämä ei ole AI:n luomisesta paikannuskuville tai lyhyille klipeille. Se on luomisesta pelattavia videoelämyksiä yksinkertaisista tekstiprompteista. Kirjoita “vene järven rannalla”, ja seuraavassa hetkessä ohjaat venettä rauhallisilla vesillä reaaliajassa.

Se esittelee reaaliaikaisen ohjauksen AI-luoduissa videoissa, tuoden liikkeen, näkökulman ja pelimäisen virran elämykseen. Diffuusiomalleilla ja laajamittaisilla pelivideolla varustettu GameCraft yhdistää AI-videoluomisen reaaliaikaiseen pelaajan ohjaukseen.

Mikä on Tencentin Hunyuan-GameCraft?

Hunyuan-GameCraft on diffuusiopohjainen videoluomismalli, jonka on kehittänyt Tencentin AI-tiimi. Se erottuu kyvystään luoda ohjattava videokohtaus käyttämällä vain teksti- tai kuvapromptia. Kun kohtaus on luotu, voit tutkia sitä näppäimistön ja hiiren avulla, kuin kevyt versio pelattavasta pelistä.

Esimerkiksi malli voi ottaa prompin “luminen metsäpolku” ja tuottaa jatkuvan videon, joka näyttää pelin kaltaiselta. Voit liikkua eteenpäin, kääntyä vasemmalle tai oikealle, ja malli luo jokaisen uuden kehyksen perustuen syötteisiisi. Tässä ei ole perinteistä 3D-moottoria. Video kehittyy syötteiden mukaan.

Mitä se voi todella tehdä

Tencentin Hunyuan-GameCraft tukee ensimmäisen ja kolmannen persoonan näkymiä, ja siirtymät niiden välillä ovat sulavia. Voit tutkia maisemia, kaupunkikatuja, taistelukenttiä tai jopa tieteisymäristöjä. Jokainen liike, kuten katsominen ympärillä tai kävely, on kytketty mallin ennustejärjestelmään.

Ohjaimet ovat tuttuja, koska voit käyttää WASD- tai nuolinäppäimiä liikkumiseen ja katsomiseen ympärillä. AI hoitaa loput. Taustalla se lukee syötteitä liikkeen merkkeinä ja rakentaa jokaisen kehyksen perustuen siihen. Koulutusdataan kuuluu yli miljoona videoklippiä yli 100:sta suositusta pelistä. Se laaja altistus auttaa mallia ymmärtämään eri visuaalisia tyylejä (kuten kyberpunk-kaupungit, keskiaikaiset linnat tai luonnonmaisemat) ja rakentamaan ne uskottavasti.

Demoissa, jotka on julkaistu tähän asti, kohtaukset ovat monipuolisia ja visuaalisesti rikkaita. Näet ympäristöjä, kuten kaupunkikatuja, lumisia maisemia, jokirantoja ja paljon muuta. Se tuntuu lähes liikkumiselta leikkauskohtauksessa tai esienäytetyssä pelitasossa. Mutta on tärkeää nähdä nämä tutkimus-esikatseluna. Mitä näemme, on hyvin valikoituja tuloksia. Se ei ole vielä selvää, kuinka johdonmukainen tai vakaa laatu olisi laajalla valikoimalla prompteja tai pidemmissä interaktioissa.

Olemme nähneet muita projekteja, jotka pyrkivät samoihin tavoitteisiin. Microsoftin WHAM- ja Muse-mallit keskittyvät ennustamaan tulevia pelin kehysframeja opittujen sääntöjen perusteella. Odyssey on toinen äskettäin esimerkki, joka muuttaa videon tutkittavaksi kohtaukseksi AI:n avulla.

Miten Hunyuan GameCraft toimii taustalla?

Hunyuan-GameCraft on rakennettu hienostuneelle video-luomis-AI:lle (diffuusiomalleille) erityisillä temppuilla. Avainidea on, että se käsittää näppäimistö- ja hiiren syötteitä osana videon “kontekstia” tai tarinaa. Teknisesti se muuttaa nämä ohjaimet kameraliikkeen signaaliksi, jotta se tietää, miten haluat näkökulman muuttuvan. Sitten se ennustaa seuraavat videokehykset kehyksen kehyksestä, laajentamalla klippiä suuntaan, johon “liikutat” sen.

Jotta kohtaus ei hyppäisi ympärillä, malli käyttää historiaan perustuvaa menetelmää. Se muistaa, mihin jätit sen (hieman kuin pidät pelitilaa muistissa), jotta maailma ei teleporttaa yhtäkkiä muualle. He kutsuvat tätä “hybridi-historia-ehtoa”. Periaatteessa se syöttää vanhat kehykset takaisin itseensä, jotta tärkeitä yksityiskohtia (kuten esineiden sijaintia ja valaistusta) säilytetään yhdenmukaisina, kun kävelet. Luojat varmistivat myös, että malli voi toimia nopeammin tiivistämällä sen (ts. kutistamalla suuren mallin pienemmäksi, nopeammaksi). Tällä tavoin se voi pitää tahdin näppäinten painalluksilla (melkein) reaaliajassa, kunhan sinulla on riittävän tehokas GPU.

Lyhyesti, annat sille aloituskuvan tai tekstiprompin ja näppäinsyötteiden sarjan. AI jatkaa sitten ennustamalla uusia kuvia, jotta se näyttää siltä, että liikutat tai katsot ympärillä kohtauksessa. Kiitos erityiselle historia-temppulle, pelimaailma säilyy karkeasti yhdenmukaisena ajassa. Esimerkiksi, jos kävelet käytävää pitkin tai käännät 180 astetta, seinät ja lattia pysyvät paikoillaan eivätkä glitchaa. Tiimi osoittaa, että se myös säilyttää 3D-yhdenmukaisuuden pitkän ajan, mikä on vaikuttavaa AI-luoduissa videoissa.

Käyttötarkoitukset

Mitä pelaajat ja kehittäjät voivat tehdä tämän teknologian kanssa? Perustasolla se on luova työkalu. Pelisuunnittelijat voivat käyttää sitä uusien ympäristöjen tai tason ideoiden nopeaan prototyyppiin. Kirjailijat ja ohjaajat voivat luoda tarinakarttoja tai leikkauskohtauksia vain kirjoittamalla kuvauksia ja sitten säätämällä niitä “pelaamalla” kohtauksen läpi. Pelaajille se voi olla hauskalla tavalla kokea mukautettuja minipelejä, jotka luot lennosta (kuten “haluan lohikäärpeli Marsissa” ja yhtäkkiä voit ohjata sitä). Se voi myös auttaa kouluttamaan muita AI:ta: esimerkiksi voimme kouluttaa roboteja tai agenteja loputtomissa virtuaalimaailmoissa, jotka AI luo.

Ei ole vielä julkista web-sovellusta, ja teknologia tarvitsee vielä hiomista visuaalisen laadun ja reagointinopeuden suhteen. Demoihin, jotka on julkaistu muista samankaltaisista malleista, kun kamera liikkuu liian pitkälle tai kääntyy liikaa, kohtaus voi alkaa hajota. Hunyuanin hybridihistoria-ehto vähentää sitä, mutta suuret näkökulman muutokset voivat edelleen aiheuttaa tekstuurivirheitä tai vääristyneitä geometrioita. Tällä hetkellä se toimii parhaiten tutkimusesikatseluna, joka näyttää, mitä on mahdollista, eikä täysin pelattavana kokemuksena.

Lopputajat

Tässä vaiheessa konsepti on vankka. On näkyvää potentiaalia siinä, miten syötteiden ohjaama video voidaan muotoilla näyttämään ja tuntumaan pelin kaltaiselta. Mutta se on vielä varhainen vaihe. Tämä on tutkimusesittely, ei valmis tuote. Reaaliaikainen luonti korkealla resoluutiolla pitkien pelisessioiden ajan on edelleen tekninen haaste.