Tencents GameCraft er vill AI-teknologi for generering av spillbare videoer

Tencents Hunyuan team har lansert noe virkelig ambisiøst: en ny teknologi kalt Hunyuan-GameCraft. Dette handler ikke om at AI genererer stille bilder eller korte klipp. Det handler om å lage spillbare videoopplevelser fra enkle tekstprompter. Skriv “en båt på en innsjø”, og neste øyeblikk styrer du den båten over rolige vann i sanntid.

Det introduserer sanntidskontroll i AI-genererte videoer, og bringer bevegelse, perspektiv og spill-lignende flyt inn i opplevelsen. Støttet av diffusjonsmodeller og stor skala spillfilm, kombinerer GameCraft AI-video-generering med sanntids spillkontroll.

Hva er Tencents Hunyuan-GameCraft?

Hunyuan-GameCraft er en diffusjonsbasert video-genereringsmodell utviklet av Tencents AI-team. Det som setter det fra seg er evnen til å generere en kontrollerbar video-scene ved hjelp av bare en tekst- eller bilde-prompt. Når scenen er skapt, kan du utforske den ved hjelp av tastatur og mus, som en lett versjon av et spill.

For eksempel kan modellen ta prompten “en snødekt skogstier” og utgangspunktet for en kontinuerlig video som ligner spill. Du kan gå fremover, vende til venstre eller høyre, og modellen genererer hver ny ramme basert på dine inndata. Det er ingen tradisjonell 3D-motor bak dette. Videoen utvikler seg basert på dine handlinger.

Hva det faktisk kan gjøre

Tencents Hunyuan-GameCraft støtter førstepersons- og tredjepersons-utsikt, med glatte overganger mellom dem. Du kan utforske landskap, bygater, slagmarker eller selv sci-fi-miljøer. Hver bevegelse, som å se seg rundt eller gå, er knyttet til modellens prediksjonsystem.

Kontrollene er familiære, da du kan bruke WASD eller piltastene til å gå og se deg rundt. AI håndterer resten. Bak kulissene leser det dine inndata som bevegelses-signal og bygger hver ramme basert på det. Treningdataene inkluderer over en million video-klipp fra over 100 populære spill. Den brede eksponeringen hjelper modellen til å forstå forskjellige visuelle stiler (som cyberpunk-byer, middelalder-slott eller naturlandskap) og rekonstruere dem troverdig.

I demoene som er lansert så langt, er scenene varierte og visuelt rike. Du ser miljøer som bygater, snølandskap, elvebredder og mer. Det føles nært å bevege seg gjennom en cutscene eller en forhåndsrendert spillnivå. Men det er viktig å se på disse som forskningsforhåndsvisninger. Det vi ser er høyt kurerte utgangspunkt. Det er ikke ennå klart hvor konsekvent eller stabil kvaliteten ville være over en bred rekke prompter eller lengre interaksjoner.

Vi har sett andre prosjekter som har som mål å nå tilsvarende mål. Microsofts WHAM og Muse-modeller fokuserer på å forutsi fremtidige spill-rammer basert på lært regler. Odyssey er et annet nylig eksempel som omdanner video til en utforskbart scene ved hjelp av AI.

Hvordan fungerer Hunyuan GameCraft bak kulissene?

Hunyuan-GameCraft er bygget på fancy video-genererings-AI (diffusjonsmodeller) med spesielle triks. Hovedideen er at det behandler dine tastatur/mus-inndata som en del av video-“konteksten” eller historien. Teknisk sett konverterer det disse kontrollene til en type kamera-bevegelsessignal så det vet hvordan du ønsker å endre perspektivet. Deretter forutsier det neste video-rammene ramme for ramme, og utvider klippet i retningen du “beveger” det.

For å holde scenen fra å hoppe rundt, bruker modellen en historie-basert metode. Det husker hvor du sluttet (en bitte like som å holde spill-tilstanden i minne) så verden ikke plutselig teleporterer deg til et annet sted. De kaller dette “hybrid historie-betingelse”. Grunnleggende sett mater det gamle rammene tilbake inn i seg selv så viktig detaljer (som posisjonen til objekter og lys) forblir konsekvente mens du går. Skaperne har også sørget for at modellen kan kjøre raskere ved å destillere den (dvs. å krympe en stor modell til en mindre, raskere en). På denne måten kan den holde pace med dine tastetrykk i (nærmest) sanntid, gitt en kraftig GPU.

Kort sagt, du gir det en start-bilde eller tekst-prompt og en sekvens av tastetrykk. AI-en genererer deretter nye bilder så det ser ut som du går eller ser deg rundt i scenen. Takk til den spesielle historie-trikken, forblir spill-verden omtrentlig konsekvent over tid. For eksempel, hvis du går ned en gang eller vender 180°, vil veggene og gulvet forbli på plass i stedet for å gli ut. Teamet viser at det også bevare 3D-konsistens i lang tid, noe som er ganske imponerende for generert video.

Anvendelsesområder

Hva kan spillere og utviklere gjøre med denne teknologien? På et grunnleggende nivå er det et kreativt verktøy. Spill-designere kunne bruke det til å lage nye miljøer eller nivå-ideer øyeblikkelig. Forfattere og regissører kunne generere storyboards eller cutscener bare ved å skrive beskrivelser og deretter justere dem ved å “spille” gjennom scenen. For spillere kunne det være en morsom måte å oppleve tilpassede mini-spill som du lager på fluen (som “jeg ønsker en drage-kamp på Mars” og plutselig kan du kontrollere det). Det kunne også hjelpe med å trene andre AI-er: for eksempel, kunne vi trene roboter eller agenter i endeløse virtuelle verdener som AI-en spinner opp.

Det er ingen offentlig web-applikasjon ennå, og teknologien trenger fortsatt mer finjustering når det gjelder visuell kvalitet og responsivitet. I demoer fra andre lignende modeller, når kameraet beveger seg for langt eller roterer for mye, kan scenen begynne å bryte sammen. Hunyuans hybrid historie-betingelse reduserer dette, men store perspektiv-skift kan fortsatt forårsake tekstur-feil eller forvrengt geometri. For øyeblikket fungerer det best som en forsknings-forhåndsvisning, noe som viser hva som er mulig, snarere enn en fullt spillbar opplevelse.

Slutt tanker

På dette stadiet er konseptet solidt. Det er synlig potensiale i hvordan inndata-drevne video kan formes til å se og føles ut som spill. Men det er fortsatt tidlig. Dette er en forskningsdemo, ikke et ferdig produkt. Sanntids-generering i høy oppløsning for lengre spill-sesjoner er fortsatt en teknisk utfordring.