GameCraft de Tencent est une technologie d'IA sauvage pour la génération de vidéos jouables

Dix centimes Hunyuan L'équipe a lancé un projet véritablement ambitieux : une nouvelle technologie appelée Hunyuan-GameCraft. Il ne s'agit pas d'une IA générant des images fixes ou de courts extraits. Il s'agit de créer expériences vidéo jouables à partir d'invites textuelles simplesÉcrivez « un bateau sur un lac » et l’instant d’après, vous dirigez ce bateau sur des eaux calmes en temps réel.

Il introduit un contrôle en temps réel dans la vidéo générée par l'IA, apportant mouvement, perspective et un flux de type gameplay dans l'expérienceS'appuyant sur des modèles de diffusion et des séquences de jeu à grande échelle, GameCraft combine la génération de vidéos IA avec le contrôle du joueur en temps réel.

Qu'est-ce que Hunyuan-GameCraft de Tencent ?

Hunyuan-GameCraft est un modèle de génération vidéo basé sur la diffusion, développé par l'équipe IA de Tencent. Sa particularité réside dans sa capacité à générer une scène vidéo contrôlable à partir d'une simple invite textuelle ou visuelle. Une fois la scène créée, vous pouvez l'explorer à l'aide du clavier et de la souris, comme une version allégée d'un jeu.

Par exemple, le modèle peut prendre l'invite « un sentier forestier enneigé » et générer une vidéo continue ressemblant à un jeu. Vous pouvez avancer, tourner à gauche ou à droite, et le modèle génère chaque nouvelle image en fonction de vos actions. Il n'y a pas de moteur 3D traditionnel derrière cela. La vidéo évolue en fonction de vos actions.

Ce qu'il peut réellement faire

Hunyuan-GameCraft de Tencent prend en charge les vues à la première et à la troisième personne, avec des transitions fluides entre elles. Vous pouvez explorer des paysages, des rues, des champs de bataille, ou même environnements de science-fictionChaque mouvement, comme regarder autour de soi ou marcher, est lié au système de prédiction du modèle.

Les commandes sont familières : vous pouvez utiliser les touches WASD ou les touches fléchées pour vous déplacer et regarder autour de vous. L'IA s'occupe du reste. En coulisses, elle interprète vos entrées comme des signaux de mouvement et construit chaque image en fonction de ces signaux. Les données d'entraînement incluent plus d'un million de clips vidéo issus de plus de 100 jeux populaires. Cette large exposition permet au modèle de comprendre différents styles visuels (comme les villes cyberpunk, les châteaux médiévaux ou les paysages naturels) et de les reconstituer de manière crédible.

Dans les démos publiées jusqu'à présent, les scènes sont variées et visuellement riches. On y découvre des environnements comme des rues urbaines, des paysages enneigés, des bords de rivière, etc. On a l'impression de se déplacer dans une cinématique ou un niveau de jeu pré-rendu. Mais il est important de les considérer comme des aperçus de recherche. Nous observons un rendu très soigné. On ne sait pas encore avec certitude si la qualité sera constante ou stable pour un large éventail d'invites ou d'interactions plus longues.

Nous avons vu d’autres projets visant des objectifs similaires. Les modèles WHAM et Muse de Microsoft se concentrer sur la prédiction des futures trames de jeu en fonction des règles apprises. Odyssey est un autre exemple récent qui transforme la vidéo en une scène explorable à l'aide de l'IA.

Comment fonctionne Hunyuan GameCraft dans les coulisses ?

Hunyuan-GameCraft s'appuie sur une IA sophistiquée de génération vidéo (modèles de diffusion) dotée d'astuces spécifiques. L'idée principale est de traiter vos commandes clavier/souris comme faisant partie du contexte vidéo ou de l'histoire. Techniquement, il convertit ces commandes en une sorte de signal de mouvement de caméra, ce qui lui permet de déterminer le changement de point de vue souhaité. Ensuite, il prédit les prochaines images vidéo image par image, en étendant le clip dans la direction dans laquelle vous le « déplacez ».

Pour éviter les sauts de scène, le modèle utilise une méthode basée sur l'historique. Il se souvient de l'endroit où vous vous êtes arrêté (un peu comme si vous gardiez en mémoire l'état du jeu) afin que le monde ne se téléporte pas soudainement ailleurs. C'est ce qu'on appelle le « conditionnement d'historique hybride ». En fait, il se réinjecte occasionnellement les anciennes images afin que les détails importants (comme la position des objets et l'éclairage) restent cohérents pendant que vous marchez. Les créateurs ont également veillé à ce que le modèle s'exécute plus rapidement en le distillant (c'est-à-dire en réduisant un grand modèle en un modèle plus petit et plus rapide). Ainsi, il peut suivre vos frappes de touches en temps (quasi) réel, avec un GPU puissant.

En bref, vous lui donnez une image ou un texte de départ et une séquence de touches à appuyer. L'IA prédit ensuite de nouvelles images pour donner l'impression que vous marchez ou regardez autour de vous. Grâce à une astuce historique spéciale, l'univers du jeu reste globalement cohérent au fil du temps. Par exemple, si vous marchez dans un couloir ou faites demi-tour, les murs et le sol restent en place sans bugs. L'équipe démontre même que la cohérence 180D est préservée sur le long terme, ce qui est assez impressionnant pour une vidéo générée.

Cas d'usage

Alors, que peuvent faire les joueurs et les développeurs avec cette technologie ? À la base, c'est un outil créatif. Les concepteurs de jeux pourraient l'utiliser pour prototyper instantanément de nouveaux environnements ou des idées de niveaux. Les scénaristes et réalisateurs pourraient générer des storyboards ou des cinématiques simplement en saisissant des descriptions, puis les peaufiner en jouant. Pour les joueurs, ce pourrait être une façon amusante de découvrir des mini-jeux personnalisés créés à la volée (comme « Je veux un combat de dragon sur Mars » et soudain, on peut contrôler ça). Cela pourrait également aider à entraîner d'autres IA : par exemple, nous pourrions entraîner des robots ou des agents dans des mondes virtuels infinis créés par l'IA.

Il n'existe pas encore d'application web publique, et la technologie nécessite encore des améliorations en termes de qualité visuelle et de réactivité. Dans les démonstrations d'autres modèles similaires, lorsque la caméra bouge trop ou pivote trop, la scène peut commencer à se dégrader. Le conditionnement historique hybride de Hunyuan réduit ce phénomène, mais d'importants changements de perspective peuvent néanmoins entraîner des problèmes de texture ou une géométrie déformée. Pour l'instant, il s'agit d'un aperçu de recherche, qui montre les possibilités, plutôt que d'une expérience pleinement jouable.

Réflexions finales

À ce stade, le concept est solide. Il existe un potentiel évident pour adapter la vidéo pilotée par les entrées à un gameplay. Mais il est encore tôt. Il s'agit d'une démonstration de recherche, et non d'un produit fini. La génération en temps réel et en haute résolution pour des sessions de jeu prolongées constitue encore un défi technique.