SynCity AI Génère des Mondes de Jeu 3D à Partir de Textes Simples

Qu’est-ce que cela signifierait si vous pouviez construire un monde entier 3D juste en saisissant une description textuelle ? SynCity est un nouvel outil d’IA qui vise à rendre cela possible. Il s’agit d’un système sans formation qui génère des mondes 3D à partir de textes simples. C’est-à-dire que SynCity est un générateur de monde 3D à partir de texte qui n’a pas besoin de formation préalable avant de pouvoir être utilisé. Ce qu’il fait, c’est aider les créatifs à construire des environnements virtuels de manière plus efficace et avec moins d’efforts. En tant que développeur de jeux et concepteur de VR, cela signifie la création de scènes passionnantes sans avoir à tout faire à la main.

Qu’est-ce que SynCity ?

SynCity est essentiellement un générateur de monde 3D à partir de texte alimenté par l’intelligence artificielle. Contrairement à certains outils précédents qui ne pouvaient générer qu’un seul objet 3D, il peut produire une scène ou une ville entière en une seule fois. Et voici le plus important : il n’a pas besoin de formation supplémentaire sur de nouvelles données pour le faire. Le générateur 3D SynCity utilise des modèles pré-formés (ceux qui savent déjà créer des images et des formes 3D) et les combine de manière astucieuse. Le résultat est un monde 3D complexe et cohérent généré à partir d’une simple invite de texte, avec un style et des détails cohérents dans toute la scène. Et oui, ces mondes générés ne sont pas des captures d’écran statiques – vous pouvez réellement déplacer une caméra virtuelle et les explorer librement comme de véritables espaces 3D.

Comment fonctionne SynCity AI ?

SynCity AI utilise un pipeline multétape pour générer le monde 3D complet. Il ne génère pas le monde entier en une seule fois. Au lieu de cela, il construit la scène pièce par pièce, ou tuile par tuile, en s’assurant que chaque partie s’emboîte. Cette méthode donne un contrôle important sur la disposition et les détails du monde.

Il utilise une approche basée sur les tuiles pour construire les mondes. Chaque tuile est d’abord générée sous forme d’image (invite 2D), puis convertie en modèle 3D (invite 3D), et enfin mélangée avec les tuiles voisines dans le monde complet (fusion 3D). L’image ci-dessus illustre ce pipeline : à partir d’une invite de texte à une tuile 2D, puis à une tuile 3D, et enfin en la cousant sans couture dans la scène 3D plus grande.

Pour décomposer étape par étape, voici comment cela fonctionne :

Invite 2D (Génération d’une tuile d’image) : Il commence par créer une image 2D pour une section du monde (une « tuile »). Il utilise un modèle de génération d’images pré-formé appelé Flux. Le système prend l’invite de texte et les tuiles voisines existantes comme contexte. En utilisant Flux avec une approche d’inpainting, il remplit la nouvelle tuile de telle sorte qu’elle corresponde à la description et s’emboîte avec les zones adjacentes. En termes simples, il dessine un petit morceau du monde, en s’assurant que les bords s’emboîteront bien avec ce qui est déjà là.

Conversion 3D (Image en tuile 3D) : Ensuite, il convertit cette image de tuile 2D en un modèle 3D réel. Il utilise un outil nommé TRELLIS pour cette étape. TRELLIS est un générateur 3D d’image pré-formé. Essentiellement, il prend l’image 2D et lui donne de la profondeur et du volume, produisant une tuile 3D. Avant la conversion, il peut ajuster la tuile (par exemple, en extrayant le premier plan et en ajoutant une base) afin que TRELLIS puisse créer un solide morceau de monde 3D. Après cette étape, nous avons une tuile qui n’est pas seulement une image plate, mais un morceau de terrain ou d’architecture 3D que vous pourriez faire le tour.

Mélange et couture (Fusion de tuiles) : Maintenant, la nouvelle tuile 3D doit être placée dans le monde existant. Le système « coud » la nouvelle tuile avec ses voisines de telle sorte qu’il n’y a pas de coutures visibles. Il le fait en rendant les limites où la nouvelle tuile rencontre les autres et en utilisant ensuite un modèle d’inpainting d’image pour les mélanger. En d’autres termes, il remplit les lacunes ou les incohérences aux bords, de sorte que la transition semble lisse en 2D. Ensuite, il alimente ce résultat mélangé en arrière dans le générateur 3D (TRELLIS) pour raffiner la géométrie 3D réelle à la couture. Cela garantit que les pièces 3D physiques s’emboîtent sans fissures ou bosses étranges. Enfin, la nouvelle tuile 3D est ajoutée au monde, pleinement intégrée comme partie d’un paysage 3D continu.

Le système répète ce processus tuile par tuile. Chaque génération de tuile prend en compte le contexte de la scène globale, vous pouvez donc continuer à étendre le monde. Le résultat est un environnement 3D cohérent construit pièce par pièce, presque comme une couverture. Mais il ressemble à un seul monde grand lors de son exploration. Cette approche permet à SynCity de générer des scènes très grandes qui sont toujours cohérentes et détaillées.

Avantages des générateurs de monde 3D comme SynCity pour les développeurs de jeux vidéo et les concepteurs de VR

L’utilisation de SynCity peut offrir plusieurs avantages pour les développeurs de jeux et les concepteurs de VR :

Économie de temps considérable : La construction d’un niveau de jeu détaillé ou d’un environnement de RV à partir de zéro peut prendre à une équipe des semaines ou des mois. Avec le générateur 3D SynCity, une grande partie de cela peut être faite en une fraction du temps. L’IA gère la création de contenu lourde. Cela signifie une prototypage plus rapide des mondes de jeu et une itération plus rapide sur les idées.

Moins de travail de modelage manuel : SynCity AI automatise les parties fastidieuses de la construction de monde. Les développeurs n’ont pas à modeler chaque roche, maison ou arbre à la main. L’outil génère ces éléments en fonction de la description textuelle. Cela libère les artistes d’une grande partie du travail fastidieux et leur permet de se concentrer sur l’affinement de l’apparence. Cela aide à éliminer cette corvée.

Stimulation de la créativité et de l’expérimentation : Puisqu’il est si facile de créer une scène avec cet outil (il suffit de la décrire en texte), les concepteurs de jeux peuvent expérimenter des idées farfelues sans un investissement énorme. Vous pouvez rapidement visualiser différents concepts d’environnement. Cela encourage l’essai de nouveaux thèmes ou styles. Si vous n’aimez pas le résultat, vous pouvez ajuster l’invite ou ajuster quelques tuiles et obtenir une nouvelle version. Le retour rapide de l’idée au monde 3D peut inspirer plus de créativité et d’innovation dans la conception.

Mise à l’échelle pour les petites équipes : Toutes les studios n’ont pas une grande équipe d’artistes 3D. Un outil comme celui-ci peut permettre aux petites équipes de jeux indépendants ou aux créateurs de VR solo de produire des mondes étendus qui seraient normalement hors de portée. La technologie fait beaucoup du travail lourd, donc même une petite équipe peut frapper au-dessus de son poids en termes de création de contenu. Cela abaisse la barrière à l’entrée pour la création d’environnements 3D riches.

Le futur des modèles 3D de SynCity AI à partir de texte

Ce projet est un aperçu de la direction que prend l’industrie. Bien que les sorties ne soient pas encore impressionnantes, comme pour d’autres modèles d’IA, elles devraient s’améliorer considérablement à l’avenir. L’idée de « génération de monde 3D à partir de texte » était presque de la science-fiction il n’y a pas longtemps, mais maintenant elle devient réalité. Nous assistons à une croissance rapide des outils capables de prendre une description simple et de la transformer en contenu prêt pour les jeux. SynCity AI est l’un des premiers à générer des mondes entiers de cette manière, et ce ne sera certainement pas le dernier. À l’avenir, nous pouvons nous attendre à ce que la technologie de texte à 3D devienne encore plus puissante et accessible.

Imaginez un concepteur de niveau qui saisit simplement la vision d’un niveau – « une planète alien avec des îles flottantes et des forêts violettes ». Imaginez maintenant un IA comme SynCity qui transforme cette description en un monde 3D de départ. À mesure que les algorithmes s’améliorent, ces mondes deviennent plus détaillés et fidèles à la vision du concepteur. La qualité des actifs s’améliore. La cohérence des grandes scènes s’améliore. Nous pourrions même voir ces outils intégrés dans les moteurs de jeu. Ici, les développeurs peuvent affiner les mondes générés par l’IA directement dans le moteur, en fusionnant la rapidité de l’IA avec la créativité humaine.

Pour les concepteurs de VR, des outils comme le générateur 3D SynCity ouvrent la possibilité d’une génération de monde en temps réel, où les expériences pourraient même être personnalisées pour chaque utilisateur via une description. La technologie progresse rapidement. La génération de contenu à partir de descriptions textuelles pourrait devenir un outil standard dans le processus créatif pour les jeux et la RV. Ces progrès suggèrent que l’avenir de la construction de monde pourrait se concentrer moins sur le modelage méticuleux. Au lieu de cela, il pourrait s’appuyer davantage sur la direction d’outils intelligents avec des idées innovantes.