La tecnología de juego de Tencent es una tecnología de IA salvaje para la generación de video jugable

El equipo de Hunyuan de Tencent ha lanzado algo genuinamente ambicioso: una nueva tecnología llamada Hunyuan-GameCraft. Esto no se trata de que la IA genere imágenes estáticas o clips cortos. Se trata de crear experiencias de video jugables a partir de prompts de texto simples. Escribe “un barco en un lago” y al momento siguiente, estás conduciendo ese barco a través de aguas tranquilas en tiempo real.

Introduce el control en tiempo real en la generación de video de IA, lo que aporta movimiento, perspectiva y flujo similar al de un juego a la experiencia. Con el respaldo de modelos de difusión y metraje de juegos a gran escala, GameCraft combina la generación de video de IA con el control del jugador en tiempo real.

¿Qué es Hunyuan-GameCraft de Tencent?

Hunyuan-GameCraft es un modelo de generación de video basado en difusión desarrollado por el equipo de IA de Tencent. Lo que lo distingue es la capacidad de generar una escena de video controlable utilizando solo un prompt de texto o imagen. Una vez creada la escena, puedes explorarla utilizando el teclado y el ratón, como una versión ligera de un juego jugable.

Por ejemplo, el modelo puede tomar el prompt “un sendero de bosque nevado” y producir un video continuo que se parece a una jugabilidad. Puedes moverte hacia adelante, girar a la izquierda o a la derecha, y el modelo genera cada nuevo fotograma según tus entradas. No hay un motor 3D tradicional detrás de esto. El video evoluciona según tus acciones.

¿Qué puede hacer realmente?

Hunyuan-GameCraft de Tencent admite vistas en primera y tercera persona, con transiciones suaves entre ellas. Puedes explorar paisajes, calles de la ciudad, campos de batalla o incluso entornos de ciencia ficción. Cada movimiento, como mirar alrededor o caminar, está vinculado al sistema de predicción del modelo.

Los controles son familiares, ya que puedes utilizar las teclas WASD o las teclas de flecha para moverte y mirar alrededor. La IA se encarga del resto. Detrás de escena, está leyendo tus entradas como señales de movimiento y construyendo cada fotograma según eso. Los datos de entrenamiento incluyen más de un millón de clips de video de más de 100 juegos populares. Esa amplia exposición es lo que ayuda al modelo a entender diferentes estilos visuales (como ciudades ciberpunk, castillos medievales o paisajes naturales) y a reconstruirlos de manera creíble.

En las demostraciones publicadas hasta ahora, las escenas son variadas y visualmente ricas. Ves entornos como calles de la ciudad, paisajes nevados, ríos y más. Se siente similar a moverse a través de una escena o un nivel de juego pre-renderizado. Pero es importante considerar estas como previsualizaciones de investigación. Lo que estamos viendo es una salida altamente curada. Todavía no está claro cómo sería la calidad en una amplia gama de prompts o interacciones más largas.

Hemos visto otros proyectos que apuntan a objetivos similares. Los modelos WHAM y Muse de Microsoft (MSFT ) se centran en predecir fotogramas de jugabilidad futuros según reglas aprendidas. Odyssey es otro ejemplo reciente que convierte un video en una escena explorable utilizando IA.

¿Cómo funciona Hunyuan GameCraft detrás de escena?

Hunyuan-GameCraft se basa en una IA de generación de video avanzada (modelos de difusión) con trucos especiales. La idea clave es que trata tus entradas del teclado/ratón como parte del “contexto” o la historia del video. Técnicamente, convierte esos controles en una especie de señal de movimiento de cámara para que sepa cómo deseas que cambie la perspectiva. Luego predice los siguientes fotogramas de video fotograma a fotograma, extendiendo el clip en la dirección que “mueves”.

Para evitar que la escena se salte, el modelo utiliza un método basado en la historia. Recuerda dónde te quedaste (un poco como mantener el estado del juego en la memoria) para que el mundo no se teletransporte de repente a otro lugar. Lo llaman “acondicionamiento híbrido de historia”. Básicamente, ocasionalmente vuelve a alimentar los fotogramas antiguos para que los detalles importantes (como la posición de los objetos y la iluminación) permanezcan consistentes mientras caminas. Los creadores también aseguraron que el modelo pueda ejecutarse más rápido al destilarlo (es decir, reducir un modelo grande a uno más pequeño y rápido). De esta manera, puede seguir el ritmo de tus pulsaciones de tecla en (casi) tiempo real, siempre y cuando tengas una GPU potente.

En resumen, le das un prompt de imagen o texto de inicio y una secuencia de pulsaciones de tecla. La IA luego sigue prediciendo nuevas imágenes para que parezca que estás caminando o mirando alrededor de la escena. Gracias al truco especial de la historia, el mundo del juego permanece aproximadamente consistente con el tiempo. Por ejemplo, si caminas por un pasillo o giras 180°, las paredes y el suelo permanecerán en su lugar en lugar de glitchear. El equipo muestra que incluso preserva la consistencia 3D durante mucho tiempo, lo que es bastante impresionante para un video generado.

Casos de uso

¿Qué pueden hacer los jugadores y los desarrolladores con esta tecnología? A nivel básico, es una herramienta creativa. Los diseñadores de juegos podrían utilizarla para prototipar nuevos entornos o ideas de niveles de inmediato. Los escritores y directores podrían generar storyboards o escenas solo tipificando descripciones y luego ajustarlas “jugando” a través de la escena. Para los jugadores, podría ser una forma divertida de experimentar mini-juegos personalizados que creas al vuelo (como “Quiero una pelea de dragones en Marte” y de repente puedes controlar eso). También podría ayudar a entrenar a otras IA: por ejemplo, podríamos entrenar robots o agentes en mundos virtuales infinitos que la IA crea.

No hay una aplicación web pública todavía, y la tecnología todavía necesita más refinamiento en términos de calidad visual y respuesta. En demostraciones de otros modelos similares, cuando la cámara se mueve demasiado lejos o gira demasiado, la escena puede comenzar a descomponerse. El acondicionamiento híbrido de historia de Hunyuan reduce eso, pero los grandes cambios de perspectiva aún pueden causar glitches de textura o geometría distorsionada. Actualmente, funciona mejor como una previsualización de investigación, algo que muestra qué es posible, en lugar de una experiencia completamente jugable.

Pensamientos finales

En esta etapa, el concepto es sólido. Hay un potencial visible en cómo la entrada en tiempo real puede dar forma a la experiencia para que se parezca y se sienta como una jugabilidad. Pero todavía es temprano. Esto es una demostración de investigación, no un producto terminado. La generación en tiempo real a alta resolución para sesiones de juego extendidas es todavía un desafío técnico.