SynCity AI genererer 3D-spilverden fra simple tekstbeskrivelser

Hvad hvis du kunne bygge en hel 3D-verden bare ved at skrive en tekstbeskrivelse? SynCity er et nyt AI-værktøj, der har til formål at gøre dette muligt. Det er et træningsfrit system, der genererer 3D-verdener fra simple tekstprompts. Det vil sige, at SynCity er en tekst til 3D-verden generator, der ikke kræver nogen forudgående træning, før den kan bruges. Det, det gør, er at hjælpe kreative med at bygge virtuelle miljøer mere effektivt og med mindre indsats. For en spiludvikler og VR-designere, betyder dette at bygge spændende scener uden at skulle gøre alt for hånden.

Hvad er SynCity?

SynCity er essentielt en tekst til 3D-verden generator drevet af kunstig intelligens. I modsætning til nogle tidligere værktøjer, der kun kunne generere enkeltstående 3D-objekter, kan det producere en hel scene eller byudsigt i ét hug. Og her er kickeren: det har ikke brug for yderligere træning på nye data for at gøre dette. SynCity 3D-generatoren udnytter forudtrænede modeller (den slags, der allerede ved, hvordan man laver billeder og 3D-former) og kombinerer dem klogt. Resultatet er en kompleks, sammenhængende 3D-verden genereret fra en simpel tekstprompt, komplet med konsekvent stil og detaljer på hele scenen. Og ja, disse genererede verdener er ikke statiske snapshots – du kan faktisk flytte en virtuel kamera rundt og udforske dem frit som sande 3D-rum.

Hvordan fungerer SynCity AI?

SynCity AI bruger en flertrins pipeline til at generere den komplette 3D-verden. Det genererer ikke hele verden på én gang. I stedet bygger det scenen stykke for stykke, eller tile for tile, og sikrer, at hvert stykke passer sammen. Denne metode giver en masse kontrol over layout og detaljer i verden.

Det bruger en tile-baseret tilgang til at bygge verdener. Hver tile genereres først som et billede (2D-prompting), derefter omdannet til et 3D-model (3D-prompting) og til sidst blandet med nabotile til den fulde verden (3D-blanding). Billedet ovenfor illustrerer denne pipeline: fra en tekstprompt til et 2D-tile, derefter til et 3D-tile og til sidst syet sammen til den større 3D-scene.

For at bryde det ned i trin for trin, her er, hvordan det fungerer:

2D-Prompting (Generering af et billede-tile): Det begynder med at oprette et 2D-billede for en sektion af verden (en “tile”). Det bruger en forudtrænet billedgenereringsmodel kaldet Flux. Systemet tager tekstprompten og eventuelle eksisterende nabotile som kontekst. Ved hjælp af Flux med en inpainting-tilgang fylder det den nye tile, så den matcher beskrivelsen og passer sammen med tilstødende områder. I simple termer er det tegning af et lille stykke af verden, så kanterne vil være sammenhængende med, hvad der allerede er der.

3D-Omdannelse (Billede til 3D-tile): Herefter omdanner det dette 2D-tilebillede til et faktisk 3D-model. Det bruger et værktøj kaldet TRELLIS til dette trin. TRELLIS er en forudtrænet billed-til-3D-generator. Essentielt set tager det 2D-billedet og giver det dybde og volumen, og producerer en 3D-tile. Før omdannelse kan det justere tilet (f.eks. udtrække forgrunden og tilføje en base), så TRELLIS kan oprette en solid 3D-blok af verden. Efter dette trin har vi en tile, der ikke blot er et fladt billede, men et stykke 3D-terræn eller arkitektur, som man kan gå rundt om.

Blanding og syning (Sammenlægning af tile): Nu skal den nye 3D-tile placeres i den eksisterende verden. Systemet “syer” den nye tile sammen med nabotile, så der ikke er synlige søm. Det gør dette ved at rendre grænserne, hvor den nye tile møder de andre, og derefter bruge en billedinpaining-model til at blande dem. Med andre ord fylder det eventuelle huller eller misforhold ved kanterne, så overgangen ser jævn ud i 2D. Derefter føder det denne blendede resultat tilbage til 3D-generatoren (TRELLIS) for at finjustere den faktiske 3D-geometri ved sømmen. Dette sikrer, at de fysiske 3D-dele samles sammen uden revner eller underlige forhøjninger. Til sidst føjes den nye 3D-tile til verden, fuldt integreret som en del af en sammenhængende 3D-landsby.

Systemet gentager denne proces tile for tile. Hver tilegenerering tager konteksten af den samlede scene i betragtning, så du kan fortsætte med at udvide verden. Resultatet er en samlet 3D-miljø bygget stykke for stykke, næsten som et patchwork. Men det ser ud som en enkelt, stor verden, når du udforsker den. Denne tilgang giver SynCity mulighed for at generere meget store scener, der stadig er sammenhængende og detaljerede.

Fordele ved 3D-verden generering som SynCity for videospiludviklere og VR-designere

At bruge SynCity kan tilbyde flere fordele for spiludviklere og VR-designere:

Dramatisk tidsbesparelse: At bygge et detaljeret spilniveau eller VR-miljø fra bunden kan tage en hold uger eller måneder. Med SynCity 3D-generatoren kan meget af dette gøres på en brøkdel af tiden. AI’en håndterer den tunge løftning af indholdsskabelse. Dette betyder hurtigere prototypering af spilverdener og hurtigere iteration på idéer.

Mindre manuel modelarbejde: SynCity AI automatiserer de kedelige dele af verdenbygning. Udviklere behøver ikke at modellere hver enkelt sten, hus eller træ for hånden. Værktøjet genererer disse elementer i overensstemmelse med tekstbeskrivelsen. Dette frigør kunstnere fra en masse af det kedelige arbejde og lader dem fokusere på at forfine udseendet og følelsen. Det hjælper med at eliminere den slid.

Forhøjet kreativitet og eksperimentering: Fordi det er så let at oprette en scene med dette værktøj (bare beskriv det i tekst), kan spildesignere eksperimentere med vilde idéer uden en enorm investering. Du kan hurtigt visualisere forskellige miljøkoncepter. Dette opmuntrer til at prøve nye temaer eller stilarter. Hvis du ikke kan lide resultatet, kan du justere prompten eller tilpasse et par tile og få en ny version. Den hurtige omsving fra idé til 3D-verden kan inspirere mere kreativitet og innovation i design.

Skalering for små hold: Ikke hver studie har et stort hold af 3D-kunstnere. Et værktøj som dette kan give små indie-spilhold eller enkeltstående VR-creators mulighed for at producere omfattende verdener, der ellers ville være utilgængelige. Teknologien gør en masse af den tunge løftning, så selv et lille hold kan slå over sin vægt i indholdsskabelse. Det sænker barrieren for at lave rige 3D-miljøer.

Fremskridtet for SynCity AI’s tekst-til-3D-modeller

Dette projekt er et glimt af, hvor industrien er på vej hen. Selvom output er ikke endnu imponerende, som med andre AI-modeller, er de sandsynligvis forbedret væsentligt i fremtiden. Ideen om “tekst til 3D-verden” generation var næsten science fiction for ikke så længe siden, men nu bliver det virkelighed. Vi ser en hurtig vækst i værktøjer, der kan tage en simpel beskrivelse og omdanne det til spilklar indhold. SynCity AI er en af de første til at generere hele verdener på denne måde, og det vil sandsynligvis ikke være den sidste. I fremtiden kan vi forvente, at tekst-til-3D-teknologien bliver endnu mere kraftfuld og tilgængelig.

Forestil dig en niveau-designer, der bare skriver sin vision for et niveau – “en alienplanet med flydende øer og lilla skove”. Nu forestil dig en AI som SynCity, der omdanner denne beskrivelse til en start-3D-verden. Da algoritmerne bliver bedre, bliver disse verdener mere detaljerede og sande til designerens vision. Kvaliteten af aktiver forbedres. Sammenhængen af store scener forbedres. Vi kan endda se disse værktøjer integreret i spilmotorer. Her kan udviklere forfine AI-genererede verdener lige inden for motoren, hvor AI-hastighed kombineres med menneskelig kreativitet.

For VR-designere åbner værktøjer som SynCity 3D-generatoren muligheden for på-the-fly verden generation, hvor oplevelser kan endda personliggøres for hver bruger gennem en beskrivelse. Teknologien udvikler sig hurtigt. At generere indhold fra tekstbeskrivelser kan blive en standardværktøj i den kreative proces for spil og VR. Disse fremskridt antyder, at fremtiden for verdenbygning kan fokusere mindre på omhyggelig modellering. I stedet kan det læne mere mod at guide intelligente værktøjer med innovative idéer.