텐센트의 GameCraft는 재생 가능한 비디오 생성을 위한 놀라운 AI ​​기술입니다.

Tencent 's 훈위안 팀이 진정으로 야심 찬 것을 출시했습니다. 바로 Hunyuan-GameCraft라는 새로운 기술입니다. AI가 정지 이미지나 짧은 영상을 생성하는 것이 아닙니다. 간단한 텍스트 프롬프트에서 재생 가능한 비디오 경험"호수 위의 배"라고 쓰면 다음 순간, 당신은 실시간으로 고요한 물 위를 그 배를 조종하고 있을 겁니다.

AI가 생성한 비디오에 실시간 제어를 도입하여 움직임, 관점 및 게임 플레이와 같은 경험의 흐름확산 모델과 대규모 게임 영상을 바탕으로, GameCraft는 AI 비디오 생성과 실시간 플레이어 컨트롤을 결합합니다.

텐센트의 훈위안-게임크래프트란?

Hunyuan-GameCraft는 Tencent의 AI 팀이 개발한 확산 기반 비디오 생성 모델입니다. 이 모델의 가장 큰 특징은 텍스트나 이미지 프롬프트만으로 제어 가능한 비디오 장면을 생성할 수 있다는 것입니다. 장면이 생성되면, 플레이 가능한 게임의 가벼운 버전처럼 키보드와 마우스를 사용하여 탐색할 수 있습니다.

예를 들어, 모델은 "눈 덮인 숲길"이라는 프롬프트를 입력받아 게임플레이처럼 보이는 연속 영상을 출력할 수 있습니다. 사용자는 앞으로 이동하거나, 좌우로 회전할 수 있으며, 모델은 사용자의 입력을 기반으로 모든 새 프레임을 생성합니다. 이 과정에는 전통적인 3D 엔진이 사용되지 않습니다. 사용자의 동작에 따라 영상이 진화합니다.

실제로 무엇을 할 수 있는가

텐센트의 Hunyuan-GameCraft는 1인칭 및 3인칭 시점을 지원하며, 두 시점 간의 매끄러운 전환을 제공합니다. 풍경, 도시 거리, 전장, 심지어 공상과학 환경주변을 둘러보거나 걷는 것과 같은 모든 움직임은 모델의 예측 시스템에 연결됩니다.

WASD 또는 화살표 키를 사용하여 움직이고 둘러볼 수 있으므로 익숙한 조작법을 사용합니다. 나머지는 AI가 처리합니다. AI는 보이지 않는 곳에서 사용자의 입력을 동작 신호로 인식하고 이를 기반으로 각 프레임을 구성합니다. 훈련 데이터에는 100개 이상의 인기 게임에서 가져온 백만 개가 넘는 비디오 클립이 포함되어 있습니다. 이러한 광범위한 노출은 모델이 사이버펑크 도시, 중세 성, 자연 경관 등 다양한 시각적 스타일을 이해하고 이를 사실적으로 재구성하는 데 도움이 됩니다.

지금까지 공개된 데모에서는 장면이 다채롭고 시각적으로 풍부합니다. 도시 거리, 눈 덮인 풍경, 강변 등 다양한 환경을 볼 수 있습니다. 마치 컷신이나 사전 렌더링된 게임 레벨을 이동하는 듯한 느낌을 줍니다. 하지만 이러한 결과물은 연구 미리보기로 보는 것이 중요합니다. 현재로서는 엄선된 결과물입니다. 다양한 프롬프트나 긴 상호작용에서 품질이 얼마나 일관되고 안정적인지는 아직 불분명합니다.

우리는 비슷한 목표를 가진 다른 프로젝트도 보았습니다. Microsoft의 WHAM 및 Muse 모델 학습된 규칙에 따라 미래의 게임플레이 프레임을 예측하는 데 중점을 둡니다. 오디세이 AI를 이용해 비디오를 탐색 가능한 장면으로 바꾸는 최근의 또 다른 사례입니다.

Hunyuan GameCraft는 내부적으로 어떻게 작동하나요?

Hunyuan-GameCraft는 특별한 기술을 갖춘 정교한 비디오 생성 AI(확산 모델)를 기반으로 구축되었습니다. 핵심 아이디어는 키보드/마우스 입력을 비디오 "맥락" 또는 스토리의 일부로 처리한다는 것입니다. 기술적으로 말하면, 이러한 컨트롤을 일종의 카메라 이동 신호로 변환하여 시점을 어떻게 변경하고 싶은지 파악합니다. 그런 다음 다음 비디오 프레임을 예측합니다 프레임별로 클립을 "움직이는" 방향으로 확장합니다.

장면이 갑작스럽게 바뀌는 것을 방지하기 위해 이 모델은 히스토리 기반 방식을 사용합니다. 마치 게임 상태를 메모리에 저장하는 것처럼, 이전에 작업을 중단했던 지점을 기억하여 세상이 갑자기 다른 곳으로 순간이동하지 않도록 합니다. 이를 "하이브리드 히스토리 컨디셔닝"이라고 합니다. 기본적으로, 이 모델은 가끔씩 이전 프레임을 자신에게 되돌려 주어 플레이어가 걸을 때 중요한 디테일(사물의 위치나 조명 등)이 일관되게 유지되도록 합니다. 또한, 개발자들은 모델을 증류(distillation)하여(즉, 큰 모델을 더 작고 빠른 모델로 축소) 더 빠르게 실행할 수 있도록 했습니다. 이렇게 하면 고성능 GPU를 사용할 때 키 입력을 (거의) 실시간으로 따라갈 수 있습니다.

간단히 말해, 시작 이미지나 텍스트 프롬프트와 일련의 키 입력을 제공합니다. 그러면 AI가 새로운 이미지를 계속 예측하여 마치 사용자가 걷거나 주변을 둘러보는 것처럼 보이게 합니다. 특별한 히스토리 트릭 덕분에 게임 세계는 시간이 지나도 거의 일정하게 유지됩니다. 예를 들어, 복도를 걷거나 180도 회전해도 벽과 바닥은 글리치 없이 그대로 유지됩니다. 개발팀은 이 기술이 3D 일관성을 오랫동안 유지한다는 것을 보여주었는데, 이는 생성된 비디오로서는 매우 인상적인 결과입니다.

고객 사례

그렇다면 게이머와 개발자는 이 기술로 무엇을 할 수 있을까요? 기본적으로 이 기술은 창의적인 도구입니다. 게임 디자이너는 이 기술을 사용하여 새로운 환경이나 레벨 아이디어를 즉시 프로토타입으로 만들 수 있습니다. 작가와 감독은 설명만 입력하면 스토리보드나 컷씬을 생성하고, 그 장면을 "플레이"하면서 수정할 수 있습니다. 게이머에게는 즉석에서 직접 만든 맞춤형 미니 게임(예: "화성에서 드래곤 싸움을 하고 싶어"처럼)을 즐길 수 있는 재미있는 방법이 될 수 있습니다. 또한 다른 AI를 훈련하는 데에도 도움이 될 수 있습니다. 예를 들어, AI가 만들어내는 무한한 가상 세계에서 로봇이나 에이전트를 훈련할 수 있습니다.

아직 공개 웹 앱이 없으며, 시각적 품질과 반응성 측면에서 기술적인 개선이 더 필요합니다. 다른 유사 모델의 데모에서는 카메라가 너무 멀리 움직이거나 회전하면 장면이 깨지기 시작할 수 있습니다. Hunyuan의 하이브리드 역사 조절 기능은 이러한 현상을 줄여주지만, 시점이 크게 이동하면 텍스처 결함이나 왜곡된 형상이 발생할 수 있습니다. 현재로서는 완전한 플레이 경험보다는 가능성을 보여주는 연구 미리보기로 활용하는 것이 가장 좋습니다.

최종 생각

현재 단계에서는 컨셉이 탄탄합니다. 입력 기반 비디오를 게임플레이처럼 보이고 느껴지도록 구현할 수 있는 잠재력이 눈에 띕니다. 하지만 아직 초기 단계입니다. 이는 완성된 제품이 아닌 연구 데모입니다. 장시간 플레이 세션을 위한 고해상도 실시간 생성은 여전히 ​​기술적인 과제입니다.