Tencent’s GameCraft Is Wild AI Tech voor Speelbare Video Generatie

Tencent’s Hunyuan team heeft iets echt ambitieus uitgebracht: een nieuwe technologie genaamd Hunyuan-GameCraft. Dit gaat niet over AI die stilstandbeelden of korte clips genereert. Het gaat over het creëren van speelbare video-ervaringen vanuit eenvoudige tekstprompts. Schrijf “een boot op een meer” en het volgende moment ben je die boot aan het besturen over kalme wateren in real-time.

Het introduceert real-time controle in AI-gegenereerde video, waardoor beweging, perspectief en gameplay-achtige flow in de ervaring komen. Ondersteund door diffusiemodellen en grote hoeveelheden gamebeelden, combineert GameCraft AI-video generatie met real-time spelercontrole.

Wat Is Tencent’s Hunyuan-GameCraft?

Hunyuan-GameCraft is een diffusie-gebaseerd video generatie model ontwikkeld door Tencent’s AI-team. Wat het uniek maakt, is de mogelijkheid om een controleerbare video-scène te genereren met alleen een tekst- of afbeeldingsprompt. Zodra de scène is gemaakt, kun je deze verkennen met behulp van toetsenbord en muis, net als een lichte versie van een speelbaar spel.

Bijvoorbeeld, het model kan de prompt “een besneeuwd bospad” nemen en een continue video produceren die eruit ziet als gameplay. Je kunt vooruit gaan, links of rechts draaien, en het model genereert elke nieuwe frame op basis van je input. Er is geen traditionele 3D-engine achter dit. De video evolueert op basis van je acties.

Wat Het Echt Kan Doen

Tencent’s Hunyuan-GameCraft ondersteunt first-person en third-person views, met vloeiende overgangen tussen hen. Je kunt landschappen, stadstraten, slagvelden of zelfs sci-fi omgevingen verkennen. Elke beweging, zoals rondkijken of lopen, is gekoppeld aan het model’s voorspellingssysteem.

De controles zijn vertrouwd, aangezien je WASD of pijltjestoetsen kunt gebruiken om te bewegen en rond te kijken. De AI behandelt de rest. Achter de schermen leest het je invoer als bewegingscues en bouwt het elke frame op basis van dat. De trainingsdata omvat meer dan een miljoen video-clips uit meer dan 100 populaire games. Die brede blootstelling is wat helpt het model verschillende visuele stijlen (zoals cyberpunk-steden, middeleeuwse kastelen of natuurlijke landschappen) te begrijpen en realistisch te reconstrueren.

In de tot nu toe uitgebrachte demos zijn de scènes gevarieerd en visueel rijk. Je ziet omgevingen zoals stadstraten, besneeuwde landschappen, rivieroever en meer. Het voelt aan als door een cutscene of een vooraf gerenderde game-level bewegen. Maar het is belangrijk om deze als onderzoeksvoorbeelden te zien. Wat we zien is zeer gecureerde output. Het is nog niet duidelijk hoe consistent of stabiel de kwaliteit zou zijn over een breed scala aan prompts of langere interacties.

We hebben andere projecten gezien die soortgelijke doelen nastreven. Microsoft’s WHAM en Muse modellen richten zich op het voorspellen van toekomstige gameplay frames op basis van geleerde regels. Odyssey is een ander recent voorbeeld dat video omzet in een verkennings-scène met behulp van AI.

Hoe Werkt Hunyuan GameCraft Achter De Schermen?

Hunyuan-GameCraft is gebouwd op geavanceerde video-generatie AI (diffusiemodellen) met speciale trucs. Het belangrijkste idee is dat het je toetsenbord/muis-invoer behandelt als onderdeel van de video “context” of verhaal. Technisch gezien zet het die controles om in een soort camera-bewegingssignaal, zodat het weet hoe je de viewpoint wilt veranderen. Vervolgens voorspelt het de volgende video frames frame voor frame, waarbij het de clip uitbreidt in de richting die je “beweegt”.

Om te voorkomen dat de scène plotseling springt, gebruikt het model een op geschiedenis gebaseerde methode. Het onthoudt waar je gebleven bent (een beetje zoals het opslaan van de game-state in het geheugen) zodat de wereld niet plotseling naar een andere locatie springt. Ze noemen dit “hybride geschiedenisconditie”. In wezen voedt het af en toe oude frames terug in zichzelf, zodat belangrijke details (zoals de positie van objecten en verlichting) consistent blijven terwijl je loopt. De makers hebben ervoor gezorgd dat het model sneller kan draaien door het te destilleren (d.w.z. een groot model in een kleiner, sneller model te veranderen). Zo kan het bijhouden met je toetsaanslagen in (bijna) real-time, gegeven een krachtige GPU.

In het kort, je geeft het een startbeeld of tekstprompt en een reeks toetsaanslagen. De AI voorspelt dan continue nieuwe beelden, zodat het lijkt alsof je door de scène loopt of eromheen kijkt. Dankzij de speciale geschiedenistruc blijft de game-wereld ongeveer consistent in de loop van de tijd. Als je bijvoorbeeld een gang doorloopt of 180° draait, blijven de muren en de vloer op hun plaats in plaats van te glitchen. Het team toont aan dat het zelfs 3D-consistentie voor een lange tijd behoudt, wat indrukwekkend is voor gegenereerde video.

Gebruiksvoorbeelden

Wat kunnen gamers en ontwikkelaars met deze technologie doen? Op een basisniveau is het een creatief hulpmiddel. Game-ontwerpers kunnen het gebruiken om nieuwe omgevingen of level-ideeën direct te protyperen. Schrijvers en regisseurs kunnen storyboards of cutscenes genereren door alleen maar beschrijvingen in te typen en deze vervolgens te “spelen” door de scène. Voor gamers kan het een leuke manier zijn om aangepaste mini-games te ervaren die je ter plekke creëert (zoals “ik wil een draak gevecht op Mars” en plotseling kun je dat controleren). Het kan ook helpen bij het trainen van andere AI’s: bijvoorbeeld, we kunnen robots of agenten trainen in eindeloze virtuele werelden die de AI creëert.

Er is nog geen openbare web-app, en de technologie heeft nog meer verfijning nodig in termen van visuele kwaliteit en responsiviteit. In demos van soortgelijke modellen, wanneer de camera te ver beweegt of te veel roteert, kan de scène beginnen te breken. Hunyuan’s hybride geschiedenisconditie vermindert dit, maar grote perspectiefverschuivingen kunnen nog steeds texture-glitches of vervormde geometrie veroorzaken. Op dit moment werkt het het beste als een onderzoeksvoorbeeld, iets dat laat zien wat mogelijk is, in plaats van een volledig speelbare ervaring.

Eindgedachten

Op dit moment is het concept solide. Er is zichtbaar potentieel in hoe input-gedreven video kan worden gevormd om eruit te zien en aan te voelen als gameplay. Maar het is nog vroeg. Dit is een onderzoeksdemo, geen afgewerkt product. Real-time generatie in hoge resolutie voor langere speelsessies is nog steeds een technische uitdaging.