เทคโนโลยี GameCraft ของ Tencent ที่น่าเหลือเชื่อสำหรับวิดีโอเกมที่สร้างได้ด้วย AI

ทีม Hunyuan ของ Tencent ได้เปิดตัวสิ่งที่แท้จริงมากที่สุด: เทคโนโลยีใหม่ชื่อ Hunyuan-GameCraft ซึ่งไม่ได้เกี่ยวกับการสร้างภาพนิ่งหรือคลิปสั้น แต่เป็นการสร้างประสบการณ์วิดีโอที่สามารถเล่นได้จากข้อความที่เรียบง่าย เขียน “เรือบน湖” และในขณะต่อไป คุณจะขับเรือนั้นข้ามน้ำที่สงบในเวลาเดียวกัน

มันนำการควบคุมในเวลาจริงมาใช้กับวิดีโอที่สร้างโดย AI ทำให้เกิดการเคลื่อนไหว มุมมอง และการไหลของเกมในประสบการณ์นั้น โดยได้รับการสนับสนุนจากโมเดลการกระจายและการบันทึกวิดีโอเกมขนาดใหญ่ GameCraft รวมการสร้างวิดีโอ AI เข้ากับการควบคุมของผู้เล่นในเวลาจริง

เทคโนโลยี GameCraft ของ Tencent คืออะไร?

Hunyuan-GameCraft เป็นโมเดลการสร้างวิดีโอแบบกระจายที่พัฒนาโดยทีม AI ของ Tencent ซึ่งทำให้แตกต่างคือความสามารถในการสร้างฉากวิดีโอที่สามารถควบคุมได้โดยใช้ข้อความหรือรูปภาพเพียงคำแนะนำ เมื่อฉากถูกสร้างขึ้น คุณสามารถสำรวจมันด้วยแป้นพิมพ์และเมาส์ เช่นเดียวกับเกมที่เล่นได้แบบเบา

ตัวอย่างเช่น โมเดลสามารถรับคำแนะนำ “เส้นทางในพื้นที่หิมะ” และผลิตวิดีโอต่อเนื่องที่ดูเหมือนกับการเล่นเกม คุณสามารถเดินไปข้างหน้า เลี้ยวซ้ายหรือขวา และโมเดลจะสร้างเฟรมใหม่ทุกครั้งตามการเคลื่อนไหวของคุณ ไม่มีเครื่องมือ 3D ที่อยู่เบื้องหลังสิ่งนี้ วิดีโอนั้นพัฒนาไปตามการกระทำของคุณ

มันสามารถทำอะไรได้จริงๆ?

Hunyuan-GameCraft ของ Tencent รองรับมุมมองบุคคลที่ 1 และบุคคลที่ 3 โดยมีการเปลี่ยนภาพที่ราบรื่นระหว่างทั้งสองมุมมอง คุณสามารถสำรวจภูมิประเทศ ถนนในเมือง สนามรบ หรือแม้แต่ สภาพแวดล้อมในอนาคต การเคลื่อนไหวทุกอย่าง เช่น การมองรอบๆ หรือการเดิน เป็นไปตามระบบการคาดการณ์ของโมเดล

การควบคุมนั้นเป็นที่คุ้นเคย เนื่องจากคุณสามารถใช้ปุ่ม WASD หรือปุ่มลูกศรเพื่อเคลื่อนไหวและดูรอบๆ โมเดลจะจัดการส่วนที่เหลือ ในเบื้องหลัง มันกำลังอ่านการเคลื่อนไหวของคุณเป็นคำแนะนำการเคลื่อนไหวและสร้างเฟรมใหม่ทุกครั้งตามนั้น ข้อมูลการฝึกอบรมรวมคลิปวิดีโอมากกว่า 1 ล้านคลิปจากเกมที่ได้รับความนิยมมากกว่า 100 เกม การเปิดรับในวงกว้างนี้ช่วยให้โมเดลเข้าใจสไตล์ภาพที่แตกต่างกัน (เช่น เมืองไซเบอร์พังก์ ปราสาทยุคกลาง หรือภูมิประเทศธรรมชาติ) และสร้างภาพใหม่ให้สมจริง

ในตัวอย่างที่ปล่อยออกมาจนถึงตอนนี้ ฉากนั้นมีความหลากหลายและเต็มไปด้วยภาพที่สวยงาม คุณเห็นสถานที่ เช่น ถนนในเมือง พื้นที่หิมะ ริมแม่น้ำ และอื่นๆ มันรู้สึกเหมือนกับการเคลื่อนผ่านฉากหรือระดับเกมที่ถูกสร้างขึ้นล่วงหน้า แต่สิ่งสำคัญคือต้องมองว่าสิ่งเหล่านี้เป็นตัวอย่างการวิจัย สิ่งที่เราจะเห็นคือการแสดงผลที่ได้รับการดูแลอย่างดี ยังไม่ชัดเจนว่าคุณภาพจะสม่ำเสมอหรือเสถียรภาพจะดีเพียงใดเมื่อใช้คำแนะนำหรือการโต้ตอบที่ยาวขึ้น

เรามองเห็นโครงการอื่นๆ ที่มีเป้าหมายที่คล้ายกัน โมเดล WHAM และ Muse ของ Microsoft (MSFT ) มุ่งเน้นไปที่การคาดการณ์เฟรมเกมในอนาคตตามกฎที่ได้เรียนรู้ Odyssey เป็นตัวอย่างล่าสุดที่เปลี่ยนวิดีโอเป็นฉากที่สามารถสำรวจได้ด้วย AI

GameCraft ของ Hunyuan ทำงานอย่างไรเบื้องหลัง?

Hunyuan-GameCraft ถูกสร้างขึ้นจาก AI การสร้างวิดีโอที่ซับซ้อน (โมเดลการกระจาย) พร้อมเทคนิคพิเศษ ความคิดหลักคือการรับข้อความจากแป้นพิมพ์และเมาส์เป็นส่วนหนึ่งของ “บริบท” หรือเรื่องราวของวิดีโอ โดยทางเทคนิค มันแปลงการควบคุมเหล่านั้นเป็นสัญญาณการเคลื่อนไหวของกล้องเพื่อให้รู้ว่าคุณต้องการเปลี่ยนมุมมองอย่างไร จากนั้น คาดการณ์เฟรมวิดีโอต่อไป เฟรมต่อเฟรม โดยขยายคลิปไปในทิศทางที่คุณ “เคลื่อนไหว” มัน

เพื่อให้ฉากไม่กระโดดไปมา โมเดลใช้วิธีตามประวัติ มันจำไว้ว่าคุณเหลือที่ไหน (เหมือนกับการเก็บสถานะเกมในหน่วยความจำ) เพื่อให้โลกไม่เปลี่ยนไปอย่าง突然 พวกเขาเรียกสิ่งนี้ว่า “การปรับตามประวัติแบบผสม” โดยพื้นฐานแล้ว มันจะส่งเฟรมเก่ากลับเข้าไปในตัวเองเป็นระยะๆ เพื่อให้รายละเอียดที่สำคัญ (เช่น ตำแหน่งของวัตถุและแสง) ยังคงสม่ำเสมอเมื่อคุณเดินผ่านไป ผู้สร้างยังทำให้โมเดลทำงานได้เร็วขึ้นโดยการทำให้มันเล็กลง (เช่น การย่อโมเดลขนาดใหญ่ให้เล็กลงและเร็วขึ้น) ซึ่งหมายความว่าสามารถติดตามการกดแป้นพิมพ์ของคุณได้ (เกือบ) ในเวลาจริง โดยมี GPU ที่มีประสิทธิภาพ

โดยสรุป คุณให้ภาพหรือคำแนะนำเริ่มต้นและลำดับการกดแป้นพิมพ์ AI จะคาดการณ์ภาพใหม่เพื่อให้ดูเหมือนคุณกำลังเดินหรือมองรอบๆ ฉากนั้น โดยใช้เทคนิคการปรับตามประวัติที่พิเศษ ทำให้โลกของเกมยังคงสม่ำเสมอโดยประมาณเมื่อเวลาผ่านไป ตัวอย่างเช่น หากคุณเดินลงทางเดินหรือหมุน 180 องศา ผนังและพื้นจะยังคงอยู่ในตำแหน่งเดิมแทนที่จะเกิดความผิดปกติ ทีมงานแสดงให้เห็นว่ามันสามารถรักษาความสม่ำเสมอของ 3D เป็นเวลานาน ซึ่งน่าประทับใจมากสำหรับวิดีโอที่สร้างขึ้น

กรณีการใช้งาน

ดังนั้นผู้เล่นและนักพัฒนาสามารถทำอะไรได้บ้างกับเทคโนโลยีนี้? ในระดับพื้นฐาน มันเป็นเครื่องมือสร้างสรรค์ นักออกแบบเกมสามารถใช้มันเพื่อสร้างสภาพแวดล้อมหรือความคิดระดับใหม่ๆ ได้ทันที ผู้เขียนและผู้กำกับอาจสร้างเรื่องราวหรือฉากที่สามารถเล่นได้โดยพิมพ์คำอธิบายและเล่นผ่านฉากนั้น สำหรับผู้เล่น มันอาจเป็นวิธีที่สนุกในการสัมผัสกับเกมขนาดย่อมที่คุณสร้างขึ้นได้ (เช่น “ฉันต้องการการต่อสู้มังกรบนดาวอังคาร” และคุณสามารถควบคุมมันได้) มันสามารถช่วยฝึก AI อื่นๆ ได้: ตัวอย่างเช่น เราสามารถฝึกหุ่นยนต์หรือตัวแทนในโลกเสมือนไม่สิ้นสุดซึ่ง AI สร้างขึ้น

ยังไม่มีเว็บแอปพลิเคชันสาธารณะ และเทคโนโลยียังคงต้องการการปรับปรุงในด้านคุณภาพภาพและความตอบสนอง ในตัวอย่างจากโมเดลที่คล้ายกัน เมื่อเลื่อนกล้องไปไกลเกินไปหรือหมุนมากเกินไป ฉากอาจเริ่มพังทลาย Hunyuan のการปรับตามประวัติแบบผสมลดสิ่งนี้ลง แต่การเปลี่ยนมุมมองที่ใหญ่มากยังคงทำให้เกิดปัญหาเรื่องข้อผิดพลาดของเนื้อผ้าหรือเรขาคณิตที่บิดเบี้ยว ในขณะนี้ มันทำงานได้ดีที่สุดในฐานะตัวอย่างการวิจัย ซึ่งแสดงให้เห็นถึงสิ่งที่เป็นไปได้ มากกว่าประสบการณ์ที่สามารถเล่นได้อย่างเต็มที่

ความคิดสุดท้าย

ในขั้นตอนนี้ ความคิดนั้นเป็นของแข็ง มีศักยภาพที่เห็นได้ชัดเจนในการ塑造วิดีโอที่ขับเคลื่อนด้วยการเข้าถึงให้ดูและรู้สึกเหมือนการเล่นเกม แต่สิ่งนี้ยังคงเป็นช่วงแรกๆ นี่คือตัวอย่างการวิจัย ไม่ใช่ผลิตภัณฑ์ที่เสร็จสมบูรณ์ การสร้างวิดีโอในเวลาจริงที่มีความละเอียดสูงสำหรับการเล่นที่ยาวนานยังคงเป็นความท้าทายทางเทคนิค