Tencentov Hunyuan-GameCraft je divna AI tehnologija za generiranje igrivih video iskustava

Tencentov Hunyuan tim objavio je nešto zaista ambiciozno: novu tehnologiju zvanu Hunyuan-GameCraft. Ovo nije o AI koji generira statične slike ili kratke isječke. Radi se o stvaranju igrivih video iskustava iz jednostavnih tekstualnih podrazumijeva. Napišite “čamac na jezeru” i u sljedećem trenutku, upravljaćete tim čamcem preko mirnih voda u stvarnom vremenu.

To uvodi stvarno vrijeme kontrolu u AI-generirani video, donoseći pokret, perspektivu i sličnost igranja u iskustvo. Potpomognuto difuzijskim modelima i velikim količinama video zapisa igara, GameCraft kombinira AI video generiranje sa stvarnim vremenom kontrolom igrača.

Što je Tencentov Hunyuan-GameCraft?

Hunyuan-GameCraft je difuzijski model generiranja videa razvijen od strane Tencentovog AI tima. Ono što ga izdvaja je mogućnost generiranja kontrolabilne video scene koristeći samo tekstualni ili slikovni podrazumijev. Kada je scena stvorena, možete ju istražiti koristeći tipkovnicu i miš, kao lak verziju igrive igre.

Na primjer, model može uzeti podrazumijevanje “snježna šumska staza” i izračunati kontinuirani video koji izgleda kao gameplay. Možete se kretati naprijed, okrenuti lijevo ili desno, a model generira svaki novi okvir na temelju vašeg ulaza. Nema tradicionalnog 3D motora iza ove tehnologije. Video evoluiraju na temelju vaših akcija.

Što on zaista može učiniti

Tencentov Hunyuan-GameCraft podržava prvu i treću osobu, sa glatkim prijelazima između njih. Možete istražiti pejzaže, gradske ulice, bojišta ili čak znanstveno-fantastične okruženja. Svaki pokret kao što je okretanje ili hodanje, vezan je za modelov sustav predviđanja.

Kontrole su poznate, jer možete koristiti tipke WASD ili strelice za kretanje i okretanje. AI se brine o ostatku. Iza scene, čita vaše ulaze kao pokretne signale i gradi svaki okvir na temelju toga. Trening podaci uključuju preko milijun video isječaka iz više od 100 popularnih igara. Ta široka izloženost pomaže modelu razumjeti različite vizualne stilove (kao što su cyberpunk gradovi, srednjovjekovni dvorci ili prirodni pejzaži) i rekonstruirati ih vjerodostojno.

U demo verzijama objavljenima do sada, scene su raznolike i vizualno bogate. Vidite okruženja kao gradske ulice, snježne pejzaže, riječne obale i još. Osjeća se kao kretanje kroz cutscene ili pre-renderirani nivo igre. Ali važno je gledati ove kao istraživačke preglede. Ono što vidimo je visoko kurirani izlaz. Još nije jasno koliko će kvaliteta biti konzistentna ili stabilna preko šireg raspona podrazumijeva ili dužih interakcija.

Vidjeli smo druge projekte koji ciljaju na slične ciljeve. Microsoftov WHAM i Muse modeli fokusiraju se na predviđanje budućih gameplay okvira na temelju naučenih pravila. Odyssey je još jedan nedavni primjer koji pretvara video u istraživo okruženje koristeći AI.

Kako Hunyuan GameCraft funkcionira iza scene?

Hunyuan-GameCraft je izgrađen na temelju napredne AI tehnologije generiranja videa (difuzijski modeli) sa specijalnim trikovima. Glavna ideja je da tretira vaše ulaze s tipkovnice i miša kao dio video “konteksta” ili priče. Tehnički, konvertira te kontrole u signal kamerinog pokreta tako da zna kako želite promijeniti gledište. Zatim predviđa sljedeće video okvire okvir po okvir, produžujući isječak u smjeru u kojem se “kretate”.

Da bi scena nije skakala, model koristi metodu temeljenu na povijesti. Sjeća se gdje ste ostali (nešto kao držanje stanja igre u memoriji) tako da se svijet ne naglo teleportira na drugo mjesto. Zovu to “hibridno uvjetovanje povijesti”. Osobno, povremeno vraća stare okvire natrag u sebe tako da važni detalji (kao što su položaj objekata i osvjetljenje) ostaju konzistentni dok hodate. Autori su također osigurali da model može raditi brže tako što ga kondenziraju (tj. smanjuju veliki model u manji, brži). Na taj način može pratiti vaš ulazak u (gotovo) stvarnom vremenu, uz dovoljno jak GPU.

Ukratko, dajete mu početnu sliku ili tekstualni podrazumijev i niz tipkovnih ulaza. AI zatim nastavlja predviđati nove slike tako da izgleda kao da se kretate ili okretate kroz scenu. Zahvaljujući specijalnoj povijesnoj triku, svijet igre ostaje približno konzistentan tokom vremena. Na primjer, ako hodate niz hodnik ili okrenete se za 180°, zidovi i pod će ostati na mjestu umjesto da se glupe. Tim pokazuje da čak i očuvava 3D konzistentnost tokom dužeg vremena, što je prilično impresivno za generirani video.

Primjene

Što igrači i developeri mogu učiniti s ovom tehnologijom? Na osnovnom nivou, to je kreativni alat. Dizajneri igara mogli bi ga koristiti za brzo stvaranje novih okruženja ili ideja za nivoe. Pisaci i redatelji mogli bi generirati priče ili cutscene samo tako što će napisati opise i zatim ih podešiti “igrajući” kroz scenu. Za igrače, to bi moglo biti zabavan način da se iskuse prilagođene mini-igre koje se stvaraju na letu (kao “želim borbu sa zmajem na Marsu” i odjednom možete kontrolirati to). Također bi moglo pomoći u obuci drugih AI-ja: na primjer, možda bismo trebali obučiti robote ili agente u beskonačnim virtualnim svijetima koje AI stvara.

Nema još javne web aplikacije, a tehnologija još uvijek treba doraditi u pogledu vizualne kvalitete i odzivnosti. U demo verzijama drugih sličnih modela, kada se kamera pomakne previše ili rotira previše, scena može početi raspada. Hunyuanov hibridni uvjetovanje povijesti smanjuje to, ali velike perspektivne pomake još uvijek mogu uzrokovati teksturne greške ili izvijene geometrije. Trenutno, najbolje funkcionira kao istraživački pregled, nešto što pokazuje što je moguće, umjesto potpuno igrive iskustvo.

Završne misli

U ovoj fazi, koncept je čvrst. Postoji vidljiv potencijal u tome kako se ulazom vođeno video može oblikovati da izgleda i osjeća kao gameplay. Ali još uvijek je rano. Ovo je istraživački demo, a ne gotov proizvod. Stvarno vrijeme generiranja u visokoj rezoluciji za produžene igre još uvijek je tehnički izazov.