SynCity AI genereert 3D game werelden vanuit eenvoudige tekst

Wat als je een hele 3D wereld kon bouwen door alleen maar een tekstbeschrijving in te voeren? SynCity is een nieuw AI-hulpmiddel dat dit mogelijk wil maken. Het is een systeem zonder voorafgaande training dat 3D werelden genereert vanuit eenvoudige tekstprompts. Dat wil zeggen, SynCity is een tekst-naar-3D-wereldgenerator die geen voorafgaande training nodig heeft voordat hij gebruikt kan worden. Wat het doet, is creatievelingen helpen bij het bouwen van virtuele omgevingen op een effectievere en minder inspannende manier. Als gameontwikkelaar en VR-ontwerpers, houdt dit in dat spannende scènes kunnen worden gebouwd zonder alles met de hand te doen.

Wat is SynCity?

SynCity is eigenlijk een tekst-naar-3D-wereldgenerator die door kunstmatige intelligentie wordt aangedreven. In tegenstelling tot sommige eerdere tools die alleen individuele 3D-objecten konden genereren, kan het een hele scène of stadsgezicht in één keer produceren. En hier is de clou: het heeft geen extra training op nieuwe gegevens nodig om dit te doen. De SynCity 3D-generator maakt gebruik van vooraf getrainde modellen (het soort dat al weet hoe het afbeeldingen en 3D-vormen kan maken) en combineert deze op een slimme manier. Het resultaat is een complexe, samenhangende 3D-wereld die vanuit een eenvoudige tekstprompt wordt gegenereerd, compleet met een consistente stijl en details over de hele scène. En ja, deze gegenereerde werelden zijn geen statische momentopnames – je kunt daadwerkelijk een virtuele camera rond bewegen en ze vrijelijk verkennen als echte 3D-ruimtes.

Hoe werkt SynCity AI?

SynCity AI gebruikt een meerstapsproces om de complete 3D-wereld te genereren. Het genereert de hele wereld niet in één keer. In plaats daarvan bouwt het de scène stap voor stap, of tegel voor tegel, waarbij elke deel past in het geheel. Deze methode geeft veel controle over de lay-out en details van de wereld.

Het gebruikt een tegel-gebaseerde benadering om werelden te bouwen. Elke tegel wordt eerst gegenereerd als een afbeelding (2D-prompting), vervolgens omgezet in een 3D-model (3D-prompting) en tenslotte gemengd met aangrenzende tegels in de volledige wereld (3D-blending). De bovenstaande afbeelding illustreert deze pijplijn: van een tekstprompt naar een 2D-tegel, vervolgens naar een 3D-tegel en tenslotte naadloos in de grotere 3D-scène.

Om het stap voor stap uit te leggen, hier is hoe het werkt:

2D Prompting (Tegel genereren als afbeelding): Het begint met het maken van een 2D-afbeelding voor een deel van de wereld (een “tegel”). Het gebruikt een vooraf getraind beeldgeneratiemodel genaamd Flux. Het systeem neemt de tekstprompt en eventuele bestaande aangrenzende tegels als context. Met behulp van Flux met een inpainting-benadering, vult het de nieuwe tegel in zodat deze overeenkomt met de beschrijving en aansluit bij aangrenzende gebieden. In eenvoudige bewoordingen, het “tekent” een klein deel van de wereld, waarbij ervoor wordt gezorgd dat de randen mooi aansluiten bij wat er al is.

3D-omzetting (Afbeelding naar 3D-tegel): Vervolgens zet het die 2D-tegelafbeelding om in een echt 3D-model. Het gebruikt een tool genaamd TRELLIS voor deze fase. TRELLIS is een vooraf getrainde beeld-naar-3D-generator. Het neemt de 2D-afbeelding en geeft deze diepte en volume, waardoor een 3D-tegel ontstaat. Voordat het de omzetting uitvoert, kan het de tegel aanpassen (bijvoorbeeld door het voorgrond te extraheren en een basis toe te voegen) zodat TRELLIS een solide 3D-deel van de wereld kan maken. Na deze stap hebben we een tegel die niet alleen een platte afbeelding is, maar een stuk 3D-terrein of architectuur dat je kunt betreden.

Mengen en naadloos maken (Tegels samenvoegen): Nu moet de nieuwe 3D-tegel in de bestaande wereld worden geplaatst. Het systeem “naait” de nieuwe tegel aan de buren vast, zodat er geen zichtbare naden zijn. Het doet dit door de grenzen waar de nieuwe tegel de anderen ontmoet te renderen en vervolgens een beeldinpainting-model te gebruiken om ze te mengen. Met andere woorden, het vult eventuele gaten of oneffenheden aan de randen op, zodat de overgang er glad uitziet in 2D. Vervolgens voert het de gemengde resultaten terug naar de 3D-generator (TRELLIS) om de daadwerkelijke 3D-geometrie op de naad te verfijnen. Dit zorgt ervoor dat de fysieke 3D-stukken naadloos samenkomen zonder scheuren of vreemde bobbels. Tenslotte wordt de nieuwe 3D-tegel aan de wereld toegevoegd, volledig geïntegreerd als onderdeel van een continue 3D-landschap.

Het systeem herhaalt dit proces tegel voor tegel. Elke tegelgeneratie houdt rekening met de context van de hele scène, zodat je de wereld kunt blijven uitbreiden. Het resultaat is een samenhangende 3D-omgeving die stap voor stap is gebouwd, bijna als een quilt. Maar het ziet eruit als een enkele, grote wereld wanneer je deze verkent. Deze benadering stelt SynCity in staat om zeer grote scènes te genereren die nog steeds coherent en gedetailleerd zijn.

Voordelen van 3D-wereldgeneratoren zoals SynCity voor gameontwikkelaars en VR-ontwerpers

Het gebruik van SynCity kan verschillende voordelen bieden voor gameontwikkelaars en VR-ontwerpers:

Dramatische tijdsbesparing: Het bouwen van een gedetailleerd gameniveau of VR-omgeving van scratch kan een team weken of maanden kosten. Met de SynCity 3D-generator kan veel hiervan in een fractie van de tijd worden gedaan. De AI doet het zware werk van inhoudscreatie. Dit betekent snellere prototyping van gamewerelden en snellere iteratie van ideeën.

Minder handmatig modelleren: SynCity AI automatiseert de saaie delen van wereldbouw. Ontwikkelaars hoeven niet elk rots, huis of boom met de hand te modelleren. Het hulpmiddel genereert deze elementen volgens de tekstbeschrijving. Dit bevrijdt kunstenaars van veel van het saaie werk en laat hen toe om zich te concentreren op het verfijnen van het uiterlijk en de sfeer. Het helpt bij het elimineren van die grind.

Verhoogde creativiteit en experimentatie: Omdat het zo eenvoudig is om een scène te creëren met dit hulpmiddel (je hoeft alleen maar een tekstbeschrijving in te voeren), kunnen gameontwerpers gemakkelijk wilde ideeën uitproberen zonder een enorme investering. Je kunt verschillende omgevingsconcepten snel visualiseren. Dit moedigt het uitproberen van nieuwe thema’s of stijlen aan. Als je het resultaat niet leuk vindt, kun je de prompt aanpassen of een paar tegels aanpassen en een nieuwe versie krijgen. De snelle omslag van idee naar 3D-wereld kan meer creativiteit en innovatie in het ontwerp inspireren.

Schaalbaarheid voor kleinere teams: Niet elk studio heeft een groot team van 3D-kunstenaars. Een tool als deze kan kleine indie game-teams of solo VR-ontwerpers in staat stellen om uitgebreide werelden te produceren die normaal gesproken buiten hun bereik zouden liggen. De technologie doet veel van het zware werk, dus zelfs een klein team kan boven zijn gewicht presteren in inhoudscreatie. Het verlaagt de drempel voor het maken van rijke 3D-omgevingen.

De toekomst van SynCity AI’s tekst-naar-3D-modellen

Dit project is een glimp van waar de industrie naartoe gaat. Hoewel de uitvoer nog niet indrukwekkend is, zoals bij andere AI-modellen, zullen ze waarschijnlijk aanzienlijk verbeteren in de toekomst. Het idee van “tekst-naar-3D-wereld” generatie was niet zo lang geleden nog science fiction, maar nu wordt het realiteit. We zien een snelle groei in tools die een eenvoudige beschrijving kunnen nemen en deze omzetten in gameready-inhoud. SynCity AI is een van de eerste die hele werelden op deze manier genereert, en het zal zeker niet de laatste zijn. In de toekomst kunnen we verwachten dat tekst-naar-3D-technologie nog krachtiger en toegankelijker wordt.

Stel je voor dat een levelontwerper gewoon zijn visie voor een level intypt – “een buitenaardse planeet met zwevende eilanden en paarse bossen”. Stel je nu voor dat een AI zoals SynCity die beschrijving omzet in een start-3D-wereld. Naarmate de algoritmes beter worden, worden deze werelden gedetailleerder en waarheidsgetrouwer naar de visie van de ontwerper. De kwaliteit van de assets verbetert. De samenhang van grote scènes verbetert. We kunnen zelfs zien dat deze tools worden geïntegreerd in game-engines. Hier kunnen ontwikkelaars AI-gegenereerde werelden rechtstreeks in de engine verfijnen, waarbij ze de snelheid van AI combineren met menselijke creativiteit.

Voor VR-ontwerpers opent een tool als SynCity 3D-generator de mogelijkheid van generatie van werelden op aanvraag, waarbij ervaringen zelfs kunnen worden gepersonaliseerd voor elke gebruiker via een beschrijving. De technologie evolueert snel. Het genereren van inhoud vanuit tekstbeschrijvingen kan een standaardtool worden in het creatieve proces voor games en VR. Deze vooruitgang suggereert dat de toekomst van wereldbouw minder kan focussen op zorgvuldige modellering. In plaats daarvan kan het meer neigen naar het sturen van intelligente tools met innovatieve ideeën.