Tencents GameCraft ist eine wilde KI-Technologie zur Generierung spielbarer Videos

Zehn Cent Hunyuan Das Team hat etwas wirklich Ambitioniertes veröffentlicht: eine neue Technologie namens Hunyuan-GameCraft. Dabei geht es nicht darum, dass KI Standbilder oder kurze Clips generiert. Es geht darum, abspielbare Videoerlebnisse anhand einfacher TextaufforderungenSchreiben Sie „ein Boot auf einem See“ und im nächsten Moment steuern Sie das Boot in Echtzeit über ruhige Gewässer.

Es führt Echtzeitsteuerung in KI-generierte Videos ein und bringt Bewegung, Perspektive und Gameplay-ähnlicher Fluss in das Erlebnis. Basierend auf Diffusionsmodellen und großformatigem Spielmaterial kombiniert GameCraft die KI-Videogenerierung mit der Echtzeit-Spielersteuerung.

Was ist Tencents Hunyuan-GameCraft?

Hunyuan-GameCraft ist ein diffusionsbasiertes Videogenerierungsmodell, das vom KI-Team von Tencent entwickelt wurde. Das Besondere daran ist die Fähigkeit, eine steuerbare Videoszene nur mithilfe einer Text- oder Bildaufforderung zu generieren. Sobald die Szene erstellt ist, können Sie sie mit Tastatur und Maus erkunden, wie eine vereinfachte Version eines spielbaren Spiels.

Beispielsweise kann das Modell die Eingabe „ein verschneiter Waldweg“ verarbeiten und ein fortlaufendes Video ausgeben, das wie ein Spiel aussieht. Sie können vorwärts gehen, nach links oder rechts abbiegen, und das Modell generiert jedes neue Bild basierend auf Ihren Eingaben. Dahinter steckt keine traditionelle 3D-Engine. Das Video entwickelt sich basierend auf Ihren Aktionen.

Was es tatsächlich kann

Tencents Hunyuan-GameCraft unterstützt First-Person- und Third-Person-Ansichten mit fließenden Übergängen zwischen ihnen. Sie können Landschaften, Stadtstraßen, Schlachtfelder oder sogar Science-Fiction-UmgebungenJede Bewegung, wie etwa Umsehen oder Gehen, ist an das Vorhersagesystem des Modells gebunden.

Die Steuerung ist vertraut: Mit WASD oder den Pfeiltasten kannst du dich bewegen und umsehen. Die KI erledigt den Rest. Im Hintergrund liest sie deine Eingaben als Bewegungssignale und erstellt jedes Bild darauf basierend. Die Trainingsdaten umfassen über eine Million Videoclips aus über 100 beliebten Spielen. Diese breite Palette hilft dem Modell, verschiedene visuelle Stile (wie Cyberpunk-Städte, mittelalterliche Burgen oder Naturlandschaften) zu verstehen und glaubwürdig zu rekonstruieren.

Die bisher veröffentlichten Demos sind abwechslungsreich und visuell ansprechend. Man sieht Umgebungen wie Stadtstraßen, verschneite Landschaften, Flussufer und vieles mehr. Es fühlt sich fast so an, als würde man sich durch eine Zwischensequenz oder ein vorgerendertes Spiellevel bewegen. Es ist jedoch wichtig, diese als Forschungsvorschau zu betrachten. Was wir sehen, ist eine sorgfältig kuratierte Ausgabe. Es ist noch nicht klar, wie konsistent oder stabil die Qualität über eine Vielzahl von Eingabeaufforderungen oder längere Interaktionen hinweg sein wird.

Wir haben andere Projekte gesehen, die ähnliche Ziele verfolgen. Microsofts WHAM- und Muse-Modelle Konzentrieren Sie sich auf die Vorhersage zukünftiger Gameplay-Frames basierend auf erlernten Regeln. Odyssey ist ein weiteres aktuelles Beispiel, bei dem mithilfe von KI ein Video in eine erforschbare Szene verwandelt wird.

Wie funktioniert Hunyuan GameCraft hinter den Kulissen?

Hunyuan-GameCraft basiert auf einer ausgeklügelten KI zur Videogenerierung (Diffusionsmodelle) mit speziellen Tricks. Die Kernidee besteht darin, dass Ihre Tastatur-/Mauseingaben als Teil des Videokontexts oder der Geschichte behandelt werden. Technisch gesehen wandelt es diese Steuerelemente in eine Art Kamerabewegungssignal um, sodass es weiß, wie sich der Blickwinkel ändern soll. Dann sagt die nächsten Videobilder voraus Bild für Bild und erweitert den Clip in die Richtung, in die Sie ihn „bewegen“.

Um zu verhindern, dass die Szene herumspringt, verwendet das Modell eine verlaufsbasierte Methode. Es merkt sich, wo Sie aufgehört haben (ähnlich wie das Speichern des Spielstands), damit die Welt nicht plötzlich woanders hin teleportiert. Dies wird „hybride Verlaufskonditionierung“ genannt. Im Grunde speist es gelegentlich die alten Frames ein, sodass wichtige Details (wie die Position von Objekten und die Beleuchtung) beim Gehen konsistent bleiben. Die Entwickler haben außerdem dafür gesorgt, dass das Modell schneller läuft, indem es destilliert wird (d. h. ein großes Modell auf ein kleineres, schnelleres Modell verkleinert wird). So kann es Ihre Tastenanschläge (bei einer leistungsstarken GPU) in (fast) Echtzeit verarbeiten.

Kurz gesagt: Man gibt ein Startbild oder einen Text und eine Tastenfolge ein. Die KI berechnet dann ständig neue Bilder, sodass es so aussieht, als würde man durch die Szene gehen oder sich umsehen. Dank des speziellen Verlaufstricks bleibt die Spielwelt im Laufe der Zeit weitgehend unverändert. Wenn man beispielsweise einen Flur entlanggeht oder sich um 180° dreht, bleiben Wände und Boden an Ort und Stelle, anstatt zu versagen. Das Team zeigt, dass die 3D-Konsistenz sogar über lange Zeit erhalten bleibt, was für generierte Videos ziemlich beeindruckend ist.

Anwendungsfälle

Was können Gamer und Entwickler mit dieser Technologie anfangen? Im Grunde ist sie ein kreatives Werkzeug. Spieledesigner könnten damit im Handumdrehen Prototypen für neue Umgebungen oder Level-Ideen erstellen. Autoren und Regisseure könnten Storyboards oder Zwischensequenzen erstellen, indem sie einfach Beschreibungen eingeben und diese dann durch das „Spielen“ der Szene optimieren. Für Gamer könnte sie eine unterhaltsame Möglichkeit sein, spontan erstellte Minispiele zu erleben (wie „Ich will einen Drachenkampf auf dem Mars“ und plötzlich kann man das steuern). Sie könnte auch beim Training anderer KIs helfen: So könnten wir beispielsweise Roboter oder Agenten in endlosen virtuellen Welten trainieren, die die KI selbst erstellt.

Es gibt noch keine öffentliche Web-App, und die Technologie muss hinsichtlich visueller Qualität und Reaktionsfähigkeit noch verbessert werden. In Demos ähnlicher Modelle kann es zu Szenenstörungen kommen, wenn sich die Kamera zu weit bewegt oder zu stark dreht. Hunyuans hybride Verlaufskonditionierung reduziert dies, aber große Perspektivwechsel können weiterhin zu Texturfehlern oder verzerrter Geometrie führen. Im Moment eignet es sich am besten als Forschungsvorschau, um zu zeigen, was möglich ist, und nicht als vollständig spielbares Erlebnis.

Abschließende Gedanken

Das Konzept ist derzeit solide. Es besteht erkennbares Potenzial, eingabegesteuerte Videos so zu gestalten, dass sie wie Gameplay aussehen und sich auch so anfühlen. Aber es ist noch früh. Dies ist eine Forschungsdemo, kein fertiges Produkt. Die Echtzeitgenerierung in hoher Auflösung für längere Spielsitzungen ist noch eine technische Herausforderung.