Teknologi AI Tencent’s GameCraft yang Luar Biasa untuk Pembuatan Video yang Dapat Dimainkan

Tim Hunyuan Tencent telah merilis sesuatu yang sangat ambisius: teknologi baru yang disebut Hunyuan-GameCraft. Ini tidak tentang AI yang menghasilkan gambar diam atau klip pendek. Ini tentang menciptakan pengalaman video yang dapat dimainkan dari prompt teks sederhana. Tulis “sebuah perahu di danau,” dan momen berikutnya, Anda akan mengemudikan perahu itu melintasi air yang tenang secara real-time.

Ini memperkenalkan kontrol waktu nyata ke dalam video yang dihasilkan AI, membawa gerakan, perspektif, dan aliran permainan seperti ke dalam pengalaman. Didukung oleh model difusi dan cuplikan game skala besar, GameCraft menggabungkan generasi video AI dengan kontrol pemain waktu nyata.

Apa itu Hunyuan-GameCraft Tencent?

Hunyuan-GameCraft adalah model generasi video berbasis difusi yang dikembangkan oleh tim AI Tencent. Yang membedakannya adalah kemampuan untuk menghasilkan adegan video yang dapat dikontrol menggunakan prompt teks atau gambar. Setelah adegan dibuat, Anda dapat mengeksplorasi menggunakan keyboard dan mouse, seperti versi ringan dari permainan yang dapat dimainkan.

Misalnya, model dapat mengambil prompt “sebuah hutan salju” dan menghasilkan video kontinu yang terlihat seperti gameplay. Anda dapat bergerak maju, berbelok kiri atau kanan, dan model menghasilkan setiap bingkai baru berdasarkan input Anda. Tidak ada mesin 3D tradisional di balik ini. Video berkembang berdasarkan tindakan Anda.

Apa yang Dapat Dilakukan Hunyuan-GameCraft?

Hunyuan-GameCraft Tencent mendukung tampilan orang pertama dan orang ketiga, dengan transisi yang mulus di antara keduanya. Anda dapat mengeksplorasi lanskap, jalan kota, medan perang, atau bahkan lingkungan sci-fi. Setiap gerakan seperti melihat sekitar atau berjalan, dihubungkan dengan sistem prediksi model.

Kontrolnya sudah familiar, karena Anda dapat menggunakan tombol WASD atau panah untuk bergerak dan melihat sekitar. AI menangani sisanya. Di balik layar, itu membaca input Anda sebagai petunjuk gerakan dan membangun setiap bingkai berdasarkan itu. Data pelatihan mencakup lebih dari satu juta cuplikan video dari lebih dari 100 game populer. Paparan yang luas itu membantu model memahami berbagai gaya visual (seperti kota cyberpunk, kastil abad pertengahan, atau lanskap alami) dan merekonstruksinya dengan meyakinkan.

Dalam demo yang dirilis sejauh ini, adegan-adegan sangat bervariasi dan kaya secara visual. Anda melihat lingkungan seperti jalan kota, lanskap salju, tepi sungai, dan lain-lain. Ini terasa seperti bergerak melalui adegan atau tingkat permainan yang sudah dirender sebelumnya. Namun, penting untuk melihat ini sebagai pratinjau penelitian. Apa yang kita lihat adalah output yang sangat tercurasi. Belum jelas seberapa konsisten atau stabil kualitasnya akan tetap ada di berbagai prompt atau interaksi yang lebih lama.

Kita telah melihat proyek lain yang bertujuan serupa. Model WHAM dan Muse Microsoft (MSFT ) berfokus pada memprediksi bingkai gameplay masa depan berdasarkan aturan yang dipelajari. Odyssey adalah contoh lain yang baru-baru ini mengubah video menjadi adegan yang dapat dieksplorasi menggunakan AI.

Bagaimana Hunyuan GameCraft Bekerja di Balik Layar?

Hunyuan-GameCraft dibangun pada AI generasi video yang canggih (model difusi) dengan trik khusus. Ide kunci adalah itu memperlakukan input keyboard/mouse Anda sebagai bagian dari “konteks” atau cerita video. Secara teknis, itu mengubah kontrol tersebut menjadi sinyal gerakan kamera sehingga itu tahu bagaimana Anda ingin memindahkan sudut pandang. Kemudian itu memprediksi bingkai video berikutnya bingkai demi bingkai, memperpanjang klip dalam arah yang Anda “gerakkan”.

Untuk mencegah adegan melompat-lompat, model menggunakan metode berbasis sejarah. Ini mengingat di mana Anda meninggalkan (sedikit seperti menyimpan keadaan permainan di memori) sehingga dunia tidak tiba-tiba teleport ke tempat lain. Mereka menyebutnya “hybrid history conditioning.” Secara dasar, itu secara berkala memberi makan kembali bingkai lama ke dalam dirinya sendiri sehingga detail penting (seperti posisi objek dan pencahayaan) tetap konsisten saat Anda berjalan. Pembuatnya juga memastikan model dapat berjalan lebih cepat dengan menyulingnya (yaitu, mengubah model besar menjadi yang lebih kecil dan lebih cepat). Dengan cara ini, itu dapat mengikuti ketukan kunci Anda dalam waktu nyata (hampir), dengan GPU yang kuat.

Singkatnya, Anda memberinya gambar awal atau prompt teks dan urutan tekan tombol. AI kemudian terus memprediksi gambar baru sehingga terlihat seperti Anda berjalan atau melihat sekitar adegan. Berkat trik sejarah khusus, dunia permainan tetap konsisten secara kasar seiring waktu. Misalnya, jika Anda berjalan menuruni lorong atau berputar 180°, dinding dan lantai akan tetap di tempatnya alih-alih mengalami glitch. Tim menunjukkan bahwa itu bahkan mempertahankan konsistensi 3D selama waktu yang lama, yang cukup mengesankan untuk video yang dihasilkan.

Kasus Penggunaan

Jadi, apa yang dapat dilakukan gamer dan pengembang dengan teknologi ini? Pada tingkat dasar, ini adalah alat kreatif. Desainer game bisa menggunakannya untuk membuat prototipe lingkungan atau ide tingkat baru secara instan. Penulis dan sutradara mungkin menghasilkan storyboard atau adegan yang dapat dimainkan hanya dengan mengetikkan deskripsi dan kemudian menyesuaikannya dengan “memainkan” adegan. Bagi gamer, ini bisa menjadi cara yang menyenangkan untuk mengalami mini-game kustom yang Anda buat secara instan (seperti “Saya ingin pertarungan naga di Mars” dan tiba-tiba Anda dapat mengontrolnya). Ini juga bisa membantu melatih AI lain: misalnya, kita bisa melatih robot atau agen di dunia virtual yang tidak terbatas yang dihasilkan AI.

Tidak ada aplikasi web publik yet, dan teknologi ini masih memerlukan penyempurnaan lebih lanjut dalam hal kualitas visual dan responsivitas. Dalam demo dari model serupa, ketika kamera bergerak terlalu jauh atau berputar terlalu banyak, adegan dapat mulai rusak. Kondisi sejarah hibrida Hunyuan mengurangi itu, tetapi pergeseran perspektif besar masih dapat menyebabkan glitch tekstur atau geometri yang terdistorsi. Saat ini, ini bekerja paling baik sebagai pratinjau penelitian, sesuatu yang menunjukkan apa yang mungkin, daripada pengalaman yang dapat dimainkan sepenuhnya.

Pemikiran Akhir

Pada tahap ini, konsepnya solid. Terlihat potensi yang jelas dalam bagaimana video yang diarahkan oleh input dapat dibentuk untuk terlihat dan terasa seperti gameplay. Namun, ini masih awal. Ini adalah demo penelitian, bukan produk jadi. Generasi waktu nyata dengan resolusi tinggi untuk sesi permainan yang diperpanjang masih merupakan tantangan teknis.