Tencent’in Hunyuan-GameCraft’ı Oyun İçin Wild AI Teknolojisi

Tencent’in Hunyuan ekibi gerçekten iddialı bir şey yayınladı: Hunyuan-GameCraft adlı yeni bir teknoloji. Bu, AI’nin stiller veya kısa klipler oluşturmasıyla ilgili değil. Basit metin.prompt’larından oynanabilir video deneyimleri oluşturmasıyla ilgili. “Bir göldeki bir tekne” yazın ve bir sonraki anda, o tekneyi gerçek zamanlı olarak sakin sular boyunca yönlendiriyorsunuz.

Gerçek zamanlı kontrolü AI tarafından üretilen videoya sokuyor, hareket, perspektif ve oyun benzeri akış gibi özellikleri deneyime katıyor. Diffüzyon modelleri ve büyük ölçekli oyun görüntüleri tarafından desteklenen GameCraft, AI video oluşturmayı gerçek zamanlı oyuncu kontrolü ile birleştiriyor.

Tencent’in Hunyuan-GameCraft’ı Nedir?

Hunyuan-GameCraft, Tencent’in AI ekibi tarafından geliştirilen bir difüzyon tabanlı video oluşturma modelidir. Onu ayıran şey, yalnızca bir metin veya resim.prompt’u kullanarak kontrol edilebilen bir video sahnesi oluşturabilmesidir. Sahne oluşturulduktan sonra, klavye ve fare kullanarak, bir oyunun hafif bir sürümü gibi onu keşfedebilirsiniz.

Örneğin, model “karlı bir orman yolu” prompt’unu alabilir ve oyun benzeri bir sürekli video oluşturabilir. İleri gidebilir, sağa veya sola dönebilir ve model her yeni kareyi girdilerinize dayanarak oluşturur. Arkasında geleneksel bir 3D motor yoktur. Video, eylemlerinize bağlı olarak gelişir.

Aslında Ne Yapabilir?

Tencent’in Hunyuan-GameCraft’ı, ilk şahıs ve üçüncü şahıs görüşlerini destekler, bunların arasında düzgün geçişler sağlar. Manzaraları, şehir sokaklarını, savaş alanlarını veya hatta bilim kurgu ortamlarını keşfedebilirsiniz. Her hareket, etrafınızı izlemek veya yürümek gibi, modelin öngörme sistemine bağlıdır.

Kontroller tanıdıktır, çünkü WASD veya ok tuşlarını kullanarak hareket edebilir ve etrafınızı izleyebilirsiniz. AI geri kalanını halleder. Arkasında, girdilerinizi hareket ipuçları olarak okur ve her kareyi buna dayanarak oluşturur. Eğitim verileri, 100’den fazla popüler oyundan over milyonlarca video klipten oluşur. Bu geniş maruz kalma, modelin farklı görsel stilleri (siberpunk şehirleri, ortaçağ kaleleri veya doğal manzaralar gibi) anlamasını ve onları inandırıcı bir şekilde yeniden oluşturmasını sağlar.

Şimdiye kadar yayınlanan demo’lar, çeşitli ve görsel olarak zengin sahneler sunar. Şehir sokakları, karlı manzaralar, nehir kenarları ve daha fazlasını görürsünüz. Bir k Kesit veya önceden oluşturulmuş bir oyun seviyesi gibi hareket ediyor gibi hissedersiniz. Ancak bunları araştırma önizlemeleri olarak görmek önemlidir. Gördüğümüz, yüksek düzeyde düzenlenmiş çıktıdır. Kalitenin, çeşitli prompt’lar veya daha uzun etkileşimler boyunca ne kadar tutarlı veya稳il olacağı henüz belli değildir.

Benzer hedeflere sahip diğer projeleri gördük. Microsoft’un WHAM ve Muse modelleri, öğrenilen kurallara dayanarak gelecek oyun karelerini öngörme odaklıdır. Odyssey de, bir videoyu AI kullanarak keşfedilebilir bir sahneye dönüştüren yakın tarihli bir başka örnektir.

Hunyuan GameCraft Arkasında Nasıl Çalışır?

Hunyuan-GameCraft, özel video oluşturma AI’si (difüzyon modelleri) ile inşa edilmiştir. Ana fikir, klavye/fare girdilerinizi video “bağlamı” veya hikayesinin bir parçası olarak ele almasıdır. Teknik olarak, bunları kamera hareketi sinyali gibi bir şeye dönüştürür, böylece görüş açınızın nasıl değişmesini istediğinizi bilir. Ardından, sonraki video karelerini kare kare öngörür, klibi hareket yönünde uzatarak.

Sahnelerin aniden değişmesini önlemek için, model bir tarih tabanlı yöntemi kullanır. Nerede bıraktığınızı hatırlar (biraz da oyun durumunu bellekte tutmak gibi), böylece dünya aniden başka bir yere teleport olmaz. Buna “hibrit tarih koşullandırması” derler. Temel olarak, eski kareleri zaman zaman kendisine geri besler, böylece önemli ayrıntılar (nesnelerin konumu ve aydınlatma gibi) yürüyüşünüz boyunca tutarlı kalır. Yaratıcılar, modeli daha hızlı çalışması için damıtmaya (yani büyük bir modeli daha küçük, daha hızlı bir modele küçültmeye) da dikkat ettiler. Bu sayede, güçlü bir GPU ile neredeyse gerçek zamanlı olarak tuş vuruşlarınıza yetişebilir.

Kısaca, bir başlangıç resmi veya metin.prompt’u ve bir dizi tuş vuruşu veriyorsunuz. AI, sizin girdilerinize bağlı olarak yeni resimler öngörerek, sanki sahneyi geziyormuşsunuz gibi bir efekt yaratıyor. Özel tarih hilesi sayesinde, oyun dünyası zaman içinde yaklaşık olarak tutarlı kalır. Örneğin, bir koridorda yürüdüğünüzde veya 180° döndüğünüzde, duvarlar ve zemin yerlerinde kalır, hata vermez. Ekibin gösterdiği gibi, uzun süreli 3B tutarlılığı da korur, bu da üretilen video için oldukça etkileyici bir özelliktir.

Kullanım Durumları

Bu teknolojiyle oyun severler ve geliştiriciler ne yapabilir? Temel düzeyde, bu bir yaratıcı araçtır. Oyun tasarımcıları, yeni ortamları veya seviye fikirlerini anında prototip olarak kullanabilir. Yazarlar ve yönetmenler, hikaye tahtalarını veya kesitleri sadece tanımları yazarak ve sonra sahneyi “oynayarak” düzenleyerek oluşturabilir. Oyun severler için, bu, uçuk mini oyunlar oluşturmak için eğlenceli bir yol olabilir (örneğin, “Mars’ta bir ejderha savaşı” ve aniden onu kontrol edebilirsiniz). Ayrıca diğer AI’leri eğitmek için de yardımcı olabilir: Örneğin, AI tarafından oluşturulan sonsuz sanal dünyalarda robotları veya ajanları eğitebiliriz.

Henüz halka açık bir web uygulaması yok ve teknoloji, görsel kalite ve tepkime açısından daha fazla rafine edilmeye ihtiyaç duyuyor. Diğer benzer modellerin demo’larında, kamera çok uzaklaştığında veya çok fazla döndüğünde, sahne bozulmaya başlayabiliyor. Hunyuan’ın hibrit tarih koşullandırması bunu azaltıyor, ancak büyük perspektif değişiklikleri hala tekstür hataları veya bozulmuş geometriye neden olabilir. Şu anda, en iyi şekilde bir araştırma önizlemesi olarak çalışıyor, yani tam olarak oynanabilir bir deneyim değil.

Son Düşünceler

Bu aşamada, kavram sağlam. Girdi tarafından yönlendirilen videoyu, oyun benzeri bir deneyim gibi şekillendirebilme potansiyeli görünüyor. Ancak masih erken. Bu, bir araştırma demo’su, bitmiş bir ürün değil. Yüksek çözünürlükte, uzun oyun seansları için gerçek zamanlı oluşturma hala bir teknik zorluk.