Tencent’in OyunCraft’ı Vahşi AI Teknolojisi ile Oynanabilir Video Oluşturma

Tencent’in Hunyuan ekibi gerçekten iddialı bir şey yayınladı: Hunyuan-OyunCraft adlı yeni bir teknoloji. Bu, AI’nin durağan görüntüler veya kısa klipler oluşturmasıyla ilgili değil. Basit metin.prompt’larından oynanabilir video deneyimleri oluşturmasıyla ilgili. “Göldeki bir tekne” yazın ve bir sonraki anda, o tekneyi gerçek zamanlı olarak sakin sular üzerinde yönlendiriyorsunuz.

Gerçek zamanlı kontrolü, AI tarafından oluşturulan videoya getiriyor, hareket, perspektif ve oyun benzeri akışı deneyime katıyor. Diffüzyon modelleri ve büyük ölçekli oyun görüntüleri tarafından desteklenen OyunCraft, AI video oluşturmayı gerçek zamanlı oyuncu kontrolü ile birleştiriyor.

Tencent’in Hunyuan-OyunCraft’ı Nedir?

Hunyuan-OyunCraft, Tencent’in AI ekibi tarafından geliştirilen bir difüzyon tabanlı video oluşturma modelidir. Onu ayıran şey, yalnızca bir metin veya resim.prompt’u kullanarak kontrol edilebilen bir video sahnesi oluşturabilmesidir. Sahne oluşturulduktan sonra, klavye ve fare kullanarak, oynanabilir bir oyunun hafif bir versiyonu gibi keşfedebilirsiniz.

Örneğin, model “karlı orman yolu” prompt’unu alabilir ve oyun benzeri görünen sürekli bir video oluşturabilir. İleri gidebilir, sola veya sağa dönebilir ve model her yeni kareyi girdilerinize göre oluşturur. Arkasında geleneksel bir 3D motor yok. Video, eylemlerinize göre evrim geçiriyor.

Gerçekten Ne Yapabilir?

Tencent’in Hunyuan-OyunCraft’ı, birinci şahıs ve üçüncü şahıs görüntülerini destekler, bunların arasında düzgün geçişler sağlar. Manzaraları, şehir sokaklarını, savaş alanlarını veya hatta bilim kurgu ortamlarını keşfedebilirsiniz. Her hareket, etrafınıza bakmak veya yürümek, modelin tahmin sistemine bağlıdır.

Kontroller tanıdık, WASD veya ok tuşlarını kullanarak hareket edebilir ve etrafınıza bakabilirsiniz. AI geri kalanını işler. Arkada, girdilerinizi hareket ipuçları olarak okuyarak ve her kareyi buna göre oluşturur. Eğitim verileri, 100’den fazla popüler oyundan bir milyondan fazla video klipten oluşur. Bu geniş maruz kalma, modelin farklı görsel stilleri (siberpunk şehirleri, ortaçağ kaleleri veya doğal manzaralar) anlamasını ve onları inandırıcı bir şekilde yeniden oluşturmasını sağlar.

Çıkarılan demo’lar, çeşitli ve görsel olarak zengin sahneler sunar. Şehir sokakları, karlı manzaralar, nehir kenarları ve daha fazlasını görürsünüz. Bir kesit veya önceden oluşturulmuş bir oyun seviyesi aracılığıyla hareket ediyor gibi hissedersiniz. Ancak bunları araştırma önizlemeleri olarak görmek önemlidir. Gördüğünüz şey, yüksek düzeyde düzenlenmiş çıktıdır. Kalitenin, çeşitli.prompt’lar veya daha uzun etkileşimler boyunca ne kadar tutarlı veya稳il olacağı henüz net değil.

Benzer hedeflere sahip diğer projeleri gördük. Microsoft’un WHAM ve Muse modelleri, öğrenilen kurallara dayalı olarak gelecekteki oyun çerçevelerini tahmin etmeye odaklanıyor. Odyssey başka bir recent örnek, AI kullanarak bir videoyu keşfedilebilir bir sahneye dönüştürüyor.

Hunyuan OyunCraft Arkasında Nasıl Çalışır?

Hunyuan-OyunCraft, özel video oluşturma AI’si (difüzyon modelleri) ile inşa edilmiştir. Ana fikir, klavye/fare girdilerinizi video “bağlamı” veya hikayenin bir parçası olarak ele almasıdır. Teknik olarak, bunları kamera hareket sinyali gibi bir şeye dönüştürür, böylece bakış açınızın nasıl değişmesini istediğinizi bilir. Ardından, sonraki video karelerini kare kare tahmin eder, onu hareket ettirdiğiniz yönde uzatarak.

Sahnelerin atlamasını önlemek için, model bir tarih tabanlı yöntem kullanır. Nerede bıraktığınızı hatırlar (biraz oyun durumunu bellekte tutmak gibi), böylece dünya aniden başka bir yere teleport olmaz. Buna “hibrit tarih koşullandırması” derler. Temel olarak, eski kareleri zaman zaman kendisine geri besler, böylece önemli detaylar (nesnelerin konumu ve aydınlatma gibi) tutarlı kalırken dolaşırsınız. Yaratıcılar, modeli daha hızlı çalıştırabilmek için damıtmaya (yani büyük bir modeli daha küçük, daha hızlı bir modele küçültmeye) dikkat ettiler. Bu sayede, güçlü bir GPU ile klavye vuruşlarınıza (neredeyse) gerçek zamanlı olarak takip edebilir.

Kullanım Alanları

Oyun severler ve geliştiriciler bu teknolojiyle ne yapabilir? Temel düzeyde, bu bir yaratıcı araçtır. Oyun tasarımcıları, yeni ortamları veya seviye fikirlerini anında prototip olarak kullanabilir. Yazarlar ve yönetmenler, yalnızca açıklamaları yazıp sahneyi “oynayarak” geçerek hikaye tahtaları veya kesitler oluşturabilir. Oyun severler için, bu, anında oluşturulan özel mini oyunları deneyimlemek için eğlenceli bir yol olabilir (örneğin, “Mars’ta bir ejderha savaşı” ve aniden onu kontrol edebilirsiniz). Ayrıca diğer AI’leri eğitmek için de yardımcı olabilir: Örneğin, AI tarafından oluşturulan sonsuz sanal dünyalarda robotları veya ajanları eğitebiliriz.

Henüz bir kamu web uygulaması yok ve teknoloji, görsel kalite ve tepkime açısından daha fazla rafine edilmeye ihtiyaç duyuyor. Diğer benzer modellerin demo’larında, kamera çok fazla hareket ettiğinde veya çok fazla döndüğünde, sahne bozulmaya başlayabilir. Hunyuan’ın hibrit tarih koşullandırması bunu azaltır, ancak büyük perspektif değişiklikleri hala doku hataları veya bozulmuş geometriye neden olabilir. Şu anda, en iyi şekilde araştırma önizlemesi olarak çalışır, olanaklı olanı gösterir, ancak tamamlanmış bir deneyim değildir.

Son Düşünceler

Bu aşamada, kavram sağlamdır. Girdi tarafından yönlendirilen videoyu oyun benzeri görünüm ve hissiyat vermesi için şekillendirme potansiyeli görünüyor. Ancak henüz erken. Bu, bir araştırma demo’su, bitmiş bir ürün değil. Yüksek çözünürlükte, uzun oyun seansları için gerçek zamanlı oluşturma hala bir teknik zorluk.