A Tecnologia de GameCraft da Tencent É Louca para Geração de Vídeo Jogável

A equipe Hunyuan da Tencent lançou algo genuinamente ambicioso: uma nova tecnologia chamada Hunyuan-GameCraft. Isso não se trata de IA gerando imagens estáticas ou clipes curtos. Trata-se de criar experiências de vídeo jogáveis a partir de prompts de texto simples. Escreva “um barco em um lago” e, no momento seguinte, você estará pilotando esse barco em águas calmas em tempo real.

Isso introduz controle em tempo real na geração de vídeo de IA, trazendo movimento, perspectiva e fluxo de jogo para a experiência. Apoiado por modelos de difusão e footage de jogo em larga escala, GameCraft combina geração de vídeo de IA com controle do jogador em tempo real.

O Que É o Hunyuan-GameCraft da Tencent?

Hunyuan-GameCraft é um modelo de geração de vídeo baseado em difusão desenvolvido pela equipe de IA da Tencent. O que o distingue é a capacidade de gerar uma cena de vídeo controlável usando apenas um prompt de texto ou imagem. Uma vez que a cena é criada, você pode explorá-la usando teclado e mouse, como uma versão leve de um jogo jogável.

Por exemplo, o modelo pode pegar o prompt “uma trilha de floresta nevada” e sair com um vídeo contínuo que parece jogo. Você pode se mover para a frente, virar para a esquerda ou para a direita, e o modelo gera cada novo quadro com base na sua entrada. Não há um motor 3D tradicional por trás disso. O vídeo evolui com base em suas ações.

O Que Ele Pode Realmente Fazer

O Hunyuan-GameCraft da Tencent suporta visões em primeira e terceira pessoa, com transições suaves entre elas. Você pode explorar paisagens, ruas da cidade, campos de batalha ou até ambientes de ficção científica. Cada movimento, como olhar em volta ou andar, está ligado ao sistema de previsão do modelo.

Os controles são familiares, pois você pode usar as teclas WASD ou as setas para se mover e olhar em volta. A IA lida com o resto. Por trás dos panos, ela está lendo suas entradas como sinais de movimento e construindo cada quadro com base nisso. Os dados de treinamento incluem mais de um milhão de clipes de vídeo de mais de 100 jogos populares. Essa ampla exposição é o que ajuda o modelo a entender diferentes estilos visuais (como cidades ciberpunk, castelos medievais ou paisagens naturais) e reconstruí-los de forma convincente.

Nos demos lançados até agora, as cenas são variadas e visualmente ricas. Você vê ambientes como ruas da cidade, paisagens nevadas, margens de rios e muito mais. Isso se sente próximo a se mover por uma cena ou um nível de jogo pré-renderizado. Mas é importante ver essas como prévias de pesquisa. O que estamos vendo é saída altamente curada. Não está claro ainda como a qualidade seria consistente ou estável em uma ampla gama de prompts ou interações mais longas.

Já vimos outros projetos visando objetivos semelhantes. Os modelos WHAM e Muse da Microsoft (MSFT ) se concentram em prever quadros de jogo futuros com base em regras aprendidas. Odyssey é outro exemplo recente que transforma vídeo em uma cena explorável usando IA.

Como o Hunyuan GameCraft Funciona Por Trás dos Panos?

Hunyuan-GameCraft é construído em cima de IA de geração de vídeo sofisticada (modelos de difusão) com truques especiais. A ideia-chave é que ele trata as entradas do teclado/mouse como parte do “contexto” ou história do vídeo. Tecnicamente, ele converte esses controles em um tipo de sinal de movimento de câmera para que saiba como você deseja que a visão mude. Então, ele prevê os próximos quadros do vídeo quadro a quadro, estendendo o clipe na direção que você “move” ele.

Para manter a cena de pulando, o modelo usa um método baseado em história. Ele lembra onde você parou (um pouco como segurar o estado do jogo na memória) para que o mundo não teleporte repentinamente para outro lugar. Eles chamam isso de “condicionamento híbrido de história”. Basicamente, ele alimenta os quadros antigos de volta para si mesmo ocasionalmente para que detalhes importantes (como a posição de objetos e iluminação) permaneçam consistentes enquanto você caminha. Os criadores também garantiram que o modelo possa rodar mais rápido distilando-o (ou seja, encolhendo um modelo grande em um menor e mais rápido). Dessa forma, ele pode acompanhar suas teclas em (quase) tempo real, dado um GPU potente.

Em resumo, você fornece uma imagem ou prompt de texto inicial e uma sequência de pressionamentos de teclas. A IA, então, continua previsando novas imagens para que pareça que você está caminhando ou olhando em volta da cena. Graças ao truque especial de história, o mundo do jogo permanece aproximadamente consistente ao longo do tempo. Por exemplo, se você caminhar por um corredor ou girar 180°, as paredes e o chão permanecerão no lugar em vez de travar. A equipe mostra que ele até preserva a consistência 3D por um longo tempo, o que é bastante impressionante para vídeo gerado.

Casos de Uso

Então, o que os jogadores e desenvolvedores podem fazer com essa tecnologia? Em um nível básico, é uma ferramenta criativa. Designers de jogos poderiam usá-la para prototipar novos ambientes ou ideias de níveis instantaneamente. Escritores e diretores poderiam gerar storyboards ou cenas apenas digitando descrições e, então, ajustá-las “jogando” a cena. Para os jogadores, poderia ser uma forma divertida de experimentar mini-jogos personalizados que você cria na hora (como “Quero uma luta de dragão em Marte” e, de repente, você pode controlar isso). Poderia também ajudar a treinar outras IAs: por exemplo, poderíamos treinar robôs ou agentes em mundos virtuais infinitos que a IA gera.

Não há um aplicativo web público ainda, e a tecnologia ainda precisa de mais refinamento em termos de qualidade visual e responsividade. Nos demos de outros modelos semelhantes, quando a câmera se move muito longe ou gira demais, a cena pode começar a se desintegrar. O condicionamento híbrido de história da Hunyuan reduz isso, mas mudanças grandes de perspectiva ainda podem causar glitches de textura ou geometria distorcida. No momento, funciona melhor como uma prévia de pesquisa, algo que mostra o que é possível, em vez de uma experiência completamente jogável.

Pensamentos Finais

Nessa etapa, o conceito é sólido. Há um potencial visível em como o vídeo dirigido por entrada pode ser moldado para parecer e se sentir como jogo. Mas é ainda cedo. Isso é uma demonstração de pesquisa, não um produto acabado. Geração em tempo real em alta resolução para sessões de jogo prolongadas é ainda um desafio técnico.