La technologie de jeu GameCraft de Tencent est une technologie d’IA sauvage pour la génération de vidéos interactives

L’équipe Hunyuan de Tencent a publié quelque chose d’ambitieux : une nouvelle technologie appelée Hunyuan-GameCraft. Il ne s’agit pas de la génération d’images fixes ou de courtes vidéos par l’IA. Il s’agit de créer des expériences de vidéos interactives à partir de simples prompts de texte. Écrivez « un bateau sur un lac », et l’instant d’après, vous conduisez ce bateau à travers des eaux calmes en temps réel.

Elle introduit un contrôle en temps réel dans la vidéo générée par l’IA, apportant du mouvement, de la perspective et un flux de type jeu dans l’expérience. Étayée par des modèles de diffusion et des séquences de jeu à grande échelle, GameCraft combine la génération de vidéos par l’IA avec un contrôle en temps réel du joueur.

Qu’est-ce que le Hunyuan-GameCraft de Tencent ?

Hunyuan-GameCraft est un modèle de génération de vidéos basé sur la diffusion développé par l’équipe d’IA de Tencent. Ce qui le distingue, c’est la capacité de générer une scène de vidéo contrôlable à l’aide d’un prompt de texte ou d’image. Une fois la scène créée, vous pouvez l’explorer à l’aide du clavier et de la souris, comme une version légère d’un jeu interactif.

Par exemple, le modèle peut prendre le prompt « un sentier de forêt enneigé » et produire une vidéo continue qui ressemble à une séquence de jeu. Vous pouvez avancer, tourner à gauche ou à droite, et le modèle génère chaque nouvelle image en fonction de vos entrées. Il n’y a pas de moteur 3D traditionnel derrière cela. La vidéo évolue en fonction de vos actions.

Qu’est-ce qu’il peut vraiment faire

Le Hunyuan-GameCraft de Tencent prend en charge les vues en première et en troisième personne, avec des transitions fluides entre elles. Vous pouvez explorer des paysages, des rues de ville, des champs de bataille ou même des environnements de science-fiction. Chaque mouvement, comme regarder autour de soi ou marcher, est lié au système de prédiction du modèle.

Les commandes sont familières, car vous pouvez utiliser les touches WASD ou les touches fléchées pour bouger et regarder autour de vous. L’IA gère le reste. Derrière les scènes, elle lit vos entrées comme des signaux de mouvement et construit chaque image en fonction de cela. Les données d’entraînement comprennent plus d’un million de clips vidéo provenant de plus de 100 jeux populaires. Cette large exposition est ce qui aide le modèle à comprendre différents styles visuels (comme les villes cyberpunk, les châteaux médiévaux ou les paysages naturels) et à les reconstruire de manière crédible.

Dans les démos publiées jusqu’à présent, les scènes sont variées et visuellement riches. Vous voyez des environnements tels que des rues de ville, des paysages enneigés, des rives de rivière et plus encore. Cela ressemble à se déplacer dans une scène cinématique ou un niveau de jeu pré-renderisé. Mais il est important de considérer ces démos comme des aperçus de recherche. Ce que nous voyons est une sortie hautement ciblée. Il n’est pas encore clair à quel point la qualité serait cohérente ou stable sur une large gamme de prompts ou de longues interactions.

Nous avons vu d’autres projets visant des objectifs similaires. Les modèles WHAM et Muse de Microsoft (MSFT ) se concentrent sur la prédiction de cadres de jeu futurs en fonction de règles apprises. Odyssey est un autre exemple récent qui transforme une vidéo en une scène exploitable à l’aide de l’IA.

Comment fonctionne le Hunyuan GameCraft en arrière-plan ?

Hunyuan-GameCraft est basé sur une technologie d’IA de génération de vidéos (modèles de diffusion) avec des astuces spéciales. L’idée clé est qu’il traite vos entrées de clavier/souris comme faisant partie du « contexte » ou de l’histoire de la vidéo. Techniquement, il convertit ces commandes en un type de signal de mouvement de caméra afin de savoir comment vous souhaitez que le point de vue change. Ensuite, il prédit les cadres de vidéo suivants image par image, en prolongeant la séquence dans la direction que vous « déplacez ».

Pour empêcher la scène de sauter, le modèle utilise une méthode basée sur l’historique. Il se souvient de l’endroit où vous vous êtes arrêté (un peu comme maintenir l’état du jeu en mémoire) afin que le monde ne se téléporte pas soudainement ailleurs. Ils appellent cela « conditionnement d’historique hybride ». Fondamentalement, il réinjecte occasionnellement les anciennes images en lui-même afin que les détails importants (comme la position des objets et l’éclairage) restent cohérents lorsque vous marchez. Les créateurs ont également veillé à ce que le modèle puisse fonctionner plus rapidement en le distillant (c’est-à-dire en réduisant un grand modèle à un plus petit et plus rapide). De cette façon, il peut suivre vos frappes de clavier en (presque) temps réel, étant donné une carte graphique puissante.

En résumé, vous lui donnez une image ou un prompt de texte de départ et une séquence de frappes de clavier. L’IA prédit ensuite de nouvelles images pour que cela ressemble à ce que vous vous déplacez ou regardez autour de vous dans la scène. Grâce à l’astuce d’historique spéciale, le monde du jeu reste grossièrement cohérent dans le temps. Par exemple, si vous marchez le long d’un couloir ou tournez 180°, les murs et le sol restent en place au lieu de buguer. L’équipe montre qu’il préserve même la cohérence 3D pendant longtemps, ce qui est plutôt impressionnant pour une vidéo générée.

Cas d’utilisation

Alors, qu’est-ce que les joueurs et les développeurs peuvent faire avec cette technologie ? À un niveau de base, c’est un outil de création. Les concepteurs de jeux pourraient l’utiliser pour créer des environnements ou des idées de niveaux instantanément. Les écrivains et les réalisateurs pourraient générer des storyboards ou des scènes cinématiques simplement en tapant des descriptions, puis les modifier en « jouant » dans la scène. Pour les joueurs, ce pourrait être un moyen amusant d’expérimenter des mini-jeux personnalisés créés à la volée (comme « Je veux un combat de dragon sur Mars » et soudain vous pouvez le contrôler). Cela pourrait également aider à former d’autres IA : par exemple, nous pourrions former des robots ou des agents dans des mondes virtuels infinis que l’IA crée.

Il n’y a pas encore d’application Web publique, et la technologie nécessite encore plus de raffinement en termes de qualité visuelle et de réactivité. Dans les démos d’autres modèles similaires, lorsque la caméra se déplace trop loin ou tourne trop, la scène peut commencer à se décomposer. Le conditionnement d’historique hybride de Hunyuan réduit cela, mais les grands changements de perspective peuvent toujours provoquer des glitches de texture ou une géométrie déformée. Pour l’instant, cela fonctionne mieux comme un aperçu de recherche, quelque chose qui montre ce qui est possible, plutôt qu’une expérience de jeu complète.

Pensées finales

À ce stade, le concept est solide. Il y a un potentiel visible dans la façon dont la vidéo à commande peut être façonnée pour ressembler et se sentir comme du gameplay. Mais il est encore tôt. Il s’agit d’une démo de recherche, et non d’un produit terminé. La génération en temps réel à haute résolution pour des sessions de jeu prolongées est toujours un défi technique.