Tencentova GameCraft je divlja AI tehnologija za generiranje igrivih video sadržaja

Tencentov Hunyuan tim objavio je nešto zaista ambiciozno: novu tehnologiju pod nazivom Hunyuan-GameCraft. Ovo nije o AI koji generira statične slike ili kratke isječke. Radi se o stvaranju igrivih video iskustava iz jednostavnih tekstualnih uputa. Napišite “čamac na jezeru” i u sljedećem trenutku, upravljaćete tim čamcem preko mirnih voda u stvarnom vremenu.

Uvodio je stvarno vrijeme kontrolu u AI generirani video, donoseći pokret, perspektivu i sličicu igre u iskustvo. Potpomognut difuzijskim modelima i velikim količinama snimaka igara, GameCraft spaja AI video generaciju sa stvarnim vremenom kontrolom igrača.

Što je Tencentov Hunyuan-GameCraft?

Hunyuan-GameCraft je difuzijski model generiranja videa razvijen od strane Tencentovog AI tima. Ono što ga izdvaja je mogućnost generiranja kontrolabilne video scene koristeći samo tekstualni ili slikovni uput. Nakon što je scena stvorena, možete ju istražiti pomoću tipkovnice i miša, kao lakšu verziju igrive igre.

Na primjer, model može uzeti uput “snježna šumska staza” i izračunati kontinuirani video koji izgleda kao gameplay. Možete se kretati naprijed, okrenuti lijevo ili desno, a model generira svaki novi okvir na temelju vašeg ulaza. Nema tradicionalnog 3D enginea iza ovoga. Video evoluiraju na temelju vaših akcija.

Što on zaista može?

Tencentov Hunyuan-GameCraft podržava prvu i treću osobu, sa glatkim prijelazima između njih. Možete istraživati pejzaže, gradske ulice, bojna polja ili čak znanstveno-fantastične okruženja. Svaki pokret kao što je okretanje ili hodanje, vezan je za modelov sustav predviđanja.

Kontrole su poznate, jer možete koristiti WASD ili strelice za kretanje i okretanje. AI se brine o ostatku. Iza scene, on čita vaše ulaze kao pokretne signale i gradi svaki okvir na temelju toga. Trening podaci uključuju preko milijun video isječaka iz više od 100 popularnih igara. Ta široka izloženost pomaže modelu razumjeti različite vizualne stilove (kao što su cyberpunk gradovi, srednjovjekovni dvorci ili prirodni pejzaži) i rekonstruirati ih vjerodostojno.

U demo verzijama objavljenim do sada, scene su raznolike i vizualno bogate. Vidite okruženja kao gradske ulice, snježne pejzaže, riječne obale i još. Osjeća se kao kretanje kroz cutscene ili pre-renderirani nivo igre. Ali važno je gledati ove kao istraživačke previewe. Ono što vidimo je visoko kurirani izlaz. Nije još jasno koliko bi kvaliteta bila konzistentna ili stabilna preko širokog raspona uputa ili dužih interakcija.

Vidjeli smo druge projekte koji ciljaju slične ciljeve. Microsoftovi WHAM i Muse modeli fokusiraju se na predviđanje budućih gameplay okvira na temelju naučenih pravila. Odyssey je još jedan nedavni primjer koji pretvara video u istraživo okruženje pomoću AI-a.

Kako Hunyuan GameCraft funkcionira iza scene?

Hunyuan-GameCraft je izgrađen na naprednoj video generaciji AI (difuzijski modeli) sa specijalnim trikovima. Ključna ideja je da tretira vaše ulaze tipkovnice/miša kao dio video “konteksta” ili priče. Tehnički, on konvertira te kontrole u vrstu kamera-pokreta signala tako da zna kako želite promijeniti gledište. Zatim predviđa sljedeće video okvire okvir po okvir, produžujući isječak u smjeru u koji ga “pomičete”.

Da bi scena nije skakala, model koristi metodu temeljenu na povijesti. On se sjeća gdje ste ostavili (nešto kao držanje stanja igre u memoriji) tako da se svijet ne naglo teleportira negdje drugdje. Zovu to “hibridna uvjetovanja povijesti”. Osnovno, on povremeno vraća stare okvire natrag u sebe tako da važni detalji (kao položaj objekata i osvjetljenje) ostanu konzistentni dok se kretate. Stvoritelji su također osigurali da model može raditi brže tako što ga sabiju (tj. smanjuju veliki model u manji, brži). Na ovaj način može održavati korak sa vašim pritiscima tipkovnice u (gotovo) stvarnom vremenu, uz dovoljno jak GPU.

Ukratko, dajte mu početnu sliku ili tekstualni uput i niz pritisaka tipkovnice. AI zatim nastavlja predviđati nove slike tako da izgleda kao da hodate ili okretate se oko scene. Zahvaljujući specijalnom triku povijesti, igrači svijet ostaje približno konzistentan tokom vremena. Na primjer, ako hodate niz hodnik ili okrenete se 180°, zidovi i pod će ostati na mjestu umjesto da will glitch out. Tim pokazuje da čak i očuvava 3D konzistenciju tokom dužeg vremena, što je jako impresivno za generirani video.

Primjene

Što mogu gameri i developeri učiniti s ovom tehnologijom? Na osnovnom nivou, to je kreativni alat. Dizajneri igara mogli bi ga koristiti za prototipiranje novih okruženja ili ideja nivoa u trenutku. Pisaci i redatelji mogli bi generirati storyboardove ili cutsceneove samo tako što će napisati opise i zatim ih podešiti “igrajući” kroz scenu. Za gamerje, to bi mogao biti zabavan način da se iskuse prilagođene mini-igre koje stvarate na letu (kao “Želim borbu sa zmajem na Marsu” i odjednom možete kontrolirati to). Također bi mogao pomoći u obuci drugih AI-ja: na primjer, mogli bismo obučiti robote ili agente u beskonačnim virtualnim svijetima koje AI stvara.

Nema još javne web aplikacije, a tehnologija još uvijek treba dodatno usavršiti u smislu vizualne kvalitete i odzivnosti. U demo verzijama drugih sličnih modela, kada se kamera premjesti previše ili rotira previše, scena može početi raspadati. Hunyuanova hibridna uvjetovanja povijesti smanjuje to, ali velike promjene perspektive još uvijek mogu uzrokovati teksturne greške ili izobličenje geometrije. Trenutno, najbolje funkcionira kao istraživački preview, nešto što pokazuje što je moguće, umjesto potpuno igrive iskustvo.

Završne misli

U ovoj fazi, koncept je čvrst. Postoji vidljiv potencijal u tome kako se ulazom vođeni video može oblikovati da izgleda i osjeća kao gameplay. Ali još uvijek je rano. Ovo je istraživački demo, a ne gotov proizvod. Stvarno vrijeme generiranja u visokoj rezoluciji za produžene igre još uvijek je tehnički izazov.