科技
腾讯的 GameCraft 是一种用于可玩视频生成的野蛮 AI 技术
将 Gaming.net 添加到您在 Google 上的首选来源
腾讯的 Hunyuan 团队发布了一项真正雄心勃勃的技术：一种称为 Hunyuan-GameCraft 的新技术。这不是关于 AI 生成静态图像或短片。它是关于从简单的文本提示创建可玩的视频体验。写下“一艘船在湖上”，下一刻，你就可以在实时中控制那艘船在平静的水面上行驶。
它将实时控制引入 AI 生成的视频中，带来运动、视角和游戏般的流畅。借助扩散模型和大规模游戏视频，GameCraft 将 AI 视频生成与实时玩家控制相结合。
什么是腾讯的 Hunyuan-GameCraft?
Hunyuan-GameCraft 是腾讯 AI 团队开发的基于扩散的视频生成模型。它的独特之处在于能够使用仅仅一个文本或图像提示生成可控的视频场景。一旦场景创建，你就可以使用键盘和鼠标来探索它，就像一个轻量版的可玩游戏。
例如，模型可以接受“雪林小径”的提示并输出一个看起来像游戏的连续视频。你可以向前移动，左转或右转，模型会根据你的输入生成每一帧新的视频。没有传统的 3D 引擎支持这一点。视频会根据你的行为而演变。
它实际上能做什么?
腾讯的 Hunyuan-GameCraft 支持第一人称和第三人称视角，并且可以在它们之间实现平滑的转换。你可以探索风景、城市街道、战场，甚至是 科幻环境。每一个动作，如四周张望或行走，都与模型的预测系统相关联。
控制方式很熟悉，因为你可以使用 WASD 或箭头键来移动和查看周围。AI 处理其余的事情。在幕后，它将你的输入读取为运动提示，并根据该提示构建每一帧。训练数据包括来自 100 多个流行游戏的超过一百万个视频片段。这种广泛的接触使得模型能够理解不同的视觉风格（如赛博朋克城市、中世纪城堡或自然风景）并使其可信地重建。
到目前为止发布的演示中，场景多样且视觉效果丰富。你可以看到城市街道、雪景、河边等环境。它感觉就像穿过一个剪辑或预渲染的游戏关卡。但是，必须将这些视为研究预览。我们看到的内容是高度策划的输出。尚不清楚质量或响应速度在广泛的提示或更长时间的交互中会有多么一致或稳定。
我们已经看到其他项目旨在实现类似的目标。 微软的 WHAM 和 Muse 模型 专注于根据学习的规则预测未来的游戏帧。 奥德赛 是另一个最近的例子，它使用 AI 将视频转换为可探索的场景。
Hunyuan GameCraft 背后的工作原理是什么?
Hunyuan-GameCraft 建立在高级的视频生成 AI（扩散模型）之上，并具有特殊的技巧。关键思想是将你的键盘/鼠标输入视为视频“上下文”或故事的一部分。从技术上讲，它将这些控制转换为一种摄像机移动信号，以便它知道你希望如何改变视点。然后，它 预测下一个视频帧，逐帧扩展视频片段，在你“移动”的方向上。
为了防止场景跳跃，模型使用基于历史的方法。它记住你离开的位置（有点像在内存中保存游戏状态），这样世界就不会突然传送到其他地方。他们称之为“混合历史条件化”。基本上，它偶尔将旧帧重新输入自己，以便保持重要细节（如物体位置和照明）在你行走时保持一致。创建者还确保模型可以通过提取（即将大型模型缩小为更小、更快的模型）来运行得更快。这样，它就可以跟上你的按键输入（几乎）实时，假设有一个强大的 GPU。
简而言之，你给它一个起始图像或文本提示和一系列按键。然后，AI 就会不断预测新图像，使其看起来像你正在场景中行走或查看周围。感谢特殊的历史技巧，游戏世界在时间上保持大致一致。例如，如果你沿着走廊行走或转身 180°，墙壁和地板将保持在原位，而不会出现故障。该团队展示了它甚至可以在长时间内保持 3D 一致性，这对于生成的视频来说是相当令人印象深刻的。
用例
那么，游戏玩家和开发者可以用这项技术做什么？从基本层面上讲，它是一种创造性的工具。游戏设计师可以使用它来原型设计新的环境或关卡想法。编剧和导演可以通过输入描述然后“玩”场景来生成分镜头或剪辑。对于玩家来说，它可以成为一种有趣的方式来体验自定义的迷你游戏，你可以即兴创作（比如“我想在火星上进行一场龙战斗”，然后你就可以控制它）。它还可以帮助训练其他 AI：例如，我们可以在 AI 生成的无尽虚拟世界中训练机器人或代理。
目前还没有公开的 Web 应用程序，这项技术在视觉质量和响应速度方面仍需要更多的改进。在其他类似模型的演示中，当摄像机移动太远或旋转太多时，场景可能会开始崩溃。Hunyuan 的混合历史条件化减少了这种情况，但大幅度的视角变化仍可能导致纹理故障或几何变形。目前，它最适合作为研究预览，展示了可能性的概念，而不是完整的游戏体验。
最终想法
在这个阶段，概念是坚实的。可以看到输入驱动的视频如何被塑造以类似游戏的方式呈现。但是，它仍然处于早期阶段。这是一个研究演示，而不是成熟的产品。实时生成高分辨率视频用于延长的游戏会话仍然是一个技术挑战。
