SynCity AI genererer 3D-spillverdener fra enkle tekstbeskrivelser

Hva hvis du kunne bygge en hel 3D-verden bare ved å skrive en tekstbeskrivelse? SynCity er et nytt AI-verktøy som har som mål å gjøre dette mulig. Det er et system uten forhåndstreningsbehov som genererer 3D-verdener fra enkle tekstbeskrivelser. Det vil si at SynCity er en tekst-til-3D-verden-genererator som ikke trenger noen forhåndstreningsdata før det kan brukes. Hva det gjør er å assistere kreative personer i å bygge virtuelle miljøer mer effektivt og med mindre innsats. For spillutviklere og VR-designere betyr dette å bygge spennende scener uten å måtte gjøre alt for hånd.

Hva er SynCity?

SynCity er i hovedsak en tekst-til-3D-verden-genererator drevet av kunstig intelligens. I motsetning til noen tidligere verktøy som bare kunne generere enkelt 3D-objekter, kan det produsere en hel scene eller bylandskap på én gang. Og her er det beste: det trenger ikke noen ekstra trening på nye data for å gjøre dette. SynCity 3D-generatoren utnytter forhåndstrente modeller (den type som allerede vet hvordan de kan lage bilder og 3D-former) og kombinerer dem på en smart måte. Resultatet er en kompleks, sammenhengende 3D-verden generert fra en enkel tekstbeskrivelse, komplett med konsistent stil og detalj over hele scenen. Og ja, disse genererte verdener er ikke statiske bilder – du kan faktisk flytte en virtuell kamera rundt og utforske dem fritt som sanne 3D-rom.

Hvordan fungerer SynCity AI?

SynCity AI bruker en flertrinnsprosess for å generere den komplette 3D-verden. Det genererer ikke hele verden på én gang. I stedet bygger det scenen bit for bit, eller tegl for tegl, og sikrer at hver del passer sammen. Denne metoden gir mye kontroll over layouten og detaljene i verden.

Det bruker en teglbasert tilnærming for å bygge verdener. Hver tegl genereres først som et bilde (2D-prompting), deretter omdannet til et 3D-modell (3D-prompting), og til slutt blandet med nabotegler inn i den fulle verden (3D-blanding). Bildet ovenfor illustrerer denne prosessen: fra en tekstbeskrivelse til et 2D-tegl, deretter til et 3D-tegl, og til slutt sydd sammen i den større 3D-scenen.

For å bryte det ned trinn for trinn, her er hvordan det fungerer:

2D-prompting (Generering av et bilde-tegl): Det begynner med å lage et 2D-bilde for en del av verden (en “tegl”). Det bruker en forhåndstrening av billedgenereringsmodellen Flux. Systemet tar tekstbeskrivelsen og eventuelle eksisterende nabotegler som kontekst. Ved å bruke Flux med en inpainting-tilnærming, fyller det inn den nye teglen så den passer beskrivelsen og sammenfaller med naboområder. I enkle ord, det er å tegne et lite stykke av verden, og sikre at kantene vil passe sammen fint med det som allerede er der.

3D-omdanning (Bilde til 3D-tegl): Deretter omdanner det det 2D-bildet til et faktisk 3D-modell. Det bruker et verktøy kalt TRELLIS for denne fasen. TRELLIS er en forhåndstrening av billed-til-3D-genererator. I essensen tar det 2D-bildet og gir det dybde og volum, og produserer et 3D-tegl. Før omdanningen kan det justere teglen (for eksempel, trekke ut forgrunnen og legge til en base) så TRELLIS kan lage en solid 3D-del av verden. Etter dette trinnet har vi en tegl som ikke bare er et flatt bilde, men en del av 3D-terreng eller arkitektur som du kan gå rundt.

Blanding og sying (Sammenføring av tegler): Nå må den nye 3D-teglen plasseres inn i den eksisterende verden. Systemet “syer” den nye teglen sammen med naboene så det ikke er synlige søm. Det gjør dette ved å rendre grensene der den nye teglen møter de andre og deretter bruke en billed-inpainting-modell for å blande dem. I andre ord, det fyller inn eventuelle hull eller uoverensstemmelser ved kantene, så overgangen ser jevn ut i 2D. Deretter sender det den blandede resultatet tilbake til 3D-generatoren (TRELLIS) for å finjustere den faktiske 3D-geometrien ved sømmen. Dette sikrer at de fysiske 3D-delene sammenføyes sammen uten sprukker eller underlige bulker. Til slutt legges den nye 3D-teglen til verden, fullt integrert som en del av en sammenhengende 3D-landsby.

Systemet gjentar denne prosessen tegl for tegl. Hver teglgenerering tar hensyn til konteksten av den totale scenen, så du kan fortsette å utvide verden. Resultatet er en sammenhengende 3D-miljø bygget bit for bit, nesten som en quilt. Men det ser ut som en enkelt, stor verden når du utforsker den. Denne tilnærmingen lar SynCity generere svært store scener som fortsatt er sammenhengende og detaljerte.

Fordelene med 3D-verden-generatorene som SynCity for spillutviklere og VR-designere

Bruken av SynCity kan tilby flere fordeler for spillutviklere og VR-designere:

Dramatisk tidssparing: Bygging av en detaljert spillnivå eller VR-miljø fra scratch kan ta en gruppe uker eller måneder. Med SynCity 3D-generatoren kan mye av dette gjøres på en brøkdel av tiden. AI-håndterer den tunge jobben med innholdsskapning. Dette betyr raskere prototyping av spillverdener og raskere iterasjon på ideer.

Mindre manuell modellering: SynCity AI automatiserer de kjedelige delene av verdenbygging. Utviklere trenger ikke å modellere hver stein, hus eller tre for hånd. Verktøyet genererer disse elementene i henhold til tekstbeskrivelsen. Dette frigjør kunstnerne fra mye av det kjedelige arbeidet og lar dem fokusere på å forbedre utseendet og følelsen. Det hjelper å eliminere denne slitne jobben.

Økt kreativitet og eksperimentering: Fordi det er så enkelt å lage en scene med dette verktøyet (bare beskriv det i tekst), kan spilldesignere eksperimentere med ville ideer uten en stor investering. Du kan raskt visualisere forskjellige miljøkonsepter. Dette oppmuntrer til å prøve ut nye temaer eller stiler. Hvis du ikke liker resultatet, kan du justere beskrivelsen eller tilpasse noen tegler og få en ny versjon. Den raskere omgangstiden fra ide til 3D-verden kan inspirere til mer kreativitet og innovasjon i design.

Skalering for mindre lag: Ikke alle studioer har et stort lag av 3D-kunstnere. Et verktøy som dette kan gi små uavhengige spillutviklingslag eller solo VR-creatorene mulighet til å produsere omfattende verdener som normalt ville være utenfor rekkevidde. Teknologien gjør mye av den tunge jobben, så selv et lite lag kan prestere over sin egen vekt i innholdsskapning. Det senker terskelen for å lage rike 3D-miljøer.

Fremtiden for SynCity AI sine tekst-til-3D-modeller

Dette prosjektet er et glimt av hvor industrien er på vei. Selv om utgangene ikke er særlig imponerende ennå, som med andre AI-modeller, er de sannsynligvis å forbedre seg betydelig i fremtiden. Ideen om “tekst-til-3D-verden”-generering var nesten vitenskapelig fiksjon ikke lenge siden, men nå blir det virkelighet. Vi ser en rask vekst i verktøy som kan ta en enkel beskrivelse og omdanne det til spillklar innhold. SynCity AI er ett av de første som genererer hele verdener på denne måten, og det vil sannsynligvis ikke være det siste. I fremtiden kan vi forvente at tekst-til-3D-teknologien blir enda mer kraftfull og tilgjengelig.

Forestall en nivådesigner som bare skriver ut visjonen for et nivå – “en alienplanet med flytende øyer og lilla skoger”. Nå forestall en AI som SynCity som omdanner denne beskrivelsen til en start-3D-verden. Etterhvert som algoritmene blir bedre, blir disse verdener mer detaljerte og sanne til designerens visjon. Kvaliteten på aktivumene forbedres. Sammenhengen av store scener forbedres. Vi kan kanskje sogar se disse verktøyene integrert i spillmotorer. Her kan utviklere forbedre AI-genererte verdener rett innenfor motoren, kombinere AI-hastighet med menneskelig kreativitet.

For VR-designere åpner verktøy som SynCity 3D-generatoren muligheten for generering av verdener på fly, hvor opplevelser kunne til og med bli personlig tilpasset for hver bruker gjennom en beskrivelse. Teknologien utvikles raskt. Generering av innhold fra tekstbeskrivelser kan bli et standardverktøy i den kreative prosessen for spill og VR. Disse fremstegene antyder at fremtiden for verdenbygging kan fokusere mindre på nøye modellering. I stedet kan det helle mot å guide intelligente verktøy med innovative ideer.