SynCity AI genererer 3D-spillverdener fra enkle tekstbeskrivelser

Hva hvis du kunne bygge en hel 3D-verden bare ved å skrive en tekstbeskrivelse? SynCity er et nytt AI-verktøy som har som mål å gjøre dette mulig. Det er et system uten forhåndstrenning som genererer 3D-verdener fra enkle tekstbeskrivelser. Det vil si at SynCity er en tekst-til-3D-verden-genererator som ikke trenger noen forhåndstrenning før det kan brukes. Det assisterer kreative personer i å bygge virtuelle miljøer mer effektivt og med mindre innsats. For spillutviklere og VR-designere betyr dette å bygge spennende scener uten å måtte gjøre alt for hånd.

Hva er SynCity?

SynCity er i essensen en tekst-til-3D-verden-genererator drevet av kunstig intelligens. I motsetning til noen tidligere verktøy som bare kunne generere enkelt 3D-objekter, kan det produsere en hel scene eller bylandskap i ett slag. Og her er kickeren: det trenger ikke noen ekstra trening på nye data for å gjøre dette. SynCity 3D-generatoren utnytter forhåndstrente modeller (den type som allerede vet hvordan de kan lage bilder og 3D-former) og kombinerer dem klokt. Resultatet er en kompleks, sammenhengende 3D-verden generert fra en enkel tekstbeskrivelse, komplett med konsistent stil og detalj over hele scenen. Og ja, disse genererte verdener er ikke statiske øyeblikksbilder – du kan faktisk flytte en virtuell kamera rundt og utforske dem fritt som sanne 3D-rom.

Hvordan fungerer SynCity AI?

SynCity AI bruker en flertrinnsprosess for å generere den komplette 3D-verden. Det genererer ikke hele verden på en gang. I stedet bygger det scenen bit for bit, eller flis for flis, og sikrer at hver del passer sammen. Denne metoden gir mye kontroll over layouten og detaljene i verden.
Det bruker en flisbasert tilnærming for å bygge verdener. Hver flis genereres først som et bilde (2D-prompting), deretter omdannes til et 3D-modell (3D-prompting), og til slutt blandes med naboflisene inn i den fullstendige verden (3D-blanding). Bildet ovenfor illustrerer denne prosessen: fra en tekstbeskrivelse til et 2D-flis, deretter til et 3D-flis, og syer det sammen med den større 3D-scenen.
For å bryte det ned trinn for trinn, slik fungerer det:
2D-prompting (Generering av et bildeflis): Det begynner med å lage et 2D-bilde for en del av verden (en “flis”). Det bruker en forhåndstretnet bildegenereringsmodell kalt Flux. Systemet tar tekstbeskrivelsen og eventuelle eksisterende naboflisene som kontekst. Ved å bruke Flux med en inpainting-tilnærming, fyller det inn den nye flisen så den matcher beskrivelsen og passer sammen med tilstøtende områder. I enkle ord, det tegner en liten del av verden, og sikrer at kantene vil kobles sammen pent med det som allerede er der.
3D-omdanning (Bilde til 3D-flis): Deretter omdanner det 2D-bildeflisen til et faktisk 3D-modell. Det bruker et verktøy kalt TRELLIS for dette stadiet. TRELLIS er en forhåndstretnet bilde-til-3D-genererator. I essensen tar det 2D-bildet og gir det dybde og volum, og produserer et 3D-flis. Før omvandling kan det justere flisen (for eksempel, trekke ut forgrunnen og legge til en base) så TRELLIS kan lage en solid 3D-bitar av verden. Etter dette stadiet har vi en flis som ikke bare er et flatt bilde, men en del av 3D-terrenget eller arkitekturen som du kunne gå rundt.
Blanding og sying (Sammenslåing av fliser): Nå må den nye 3D-flisen plasseres i den eksisterende verden. Systemet “syer” den nye flisen sammen med naboene så det ikke er synlige søm. Det gjør dette ved å rendre grensene der den nye flisen møter de andre og deretter bruke en bildeinpainting-modell til å blande dem. I andre ord, det fyller inn eventuelle hull eller misforhold ved kantene, så overgangen ser jevn ut i 2D. Deretter fôrer det denne blandede resultatet tilbake til 3D-generatoren (TRELLIS) for å finjustere den faktiske 3D-geometrien ved sømmen. Dette sikrer at de fysiske 3D-delene kobles sammen uten sprukker eller rare bump. Til slutt legges den nye 3D-flisen til verden, fullt integrert som en del av en sammenhengende 3D-landskap.
Systemet gjentar denne prosessen flis for flis. Hver flisgenerering tar hensyn til konteksten av hele scenen, så du kan fortsette å utvide verden. Resultatet er en sammenhengende 3D-miljø bygget bit for bit, nesten som en quilt. Men det ser ut som en enkelt, stor verden når du utforsker den. Denne tilnærmingen tillater SynCity å generere meget store scener som er sammenhengende og detaljerte.

Fordelene med 3D-verden-generering som SynCity for videospillutviklere og VR-designere

Bruk av SynCity kan tilby flere fordeler for spillutviklere og VR-designere:
Dramatisk tidssparing: Bygging av en detaljert spillnivå eller VR-miljø fra scratch kan ta en gruppe uker eller måneder. Med SynCity 3D-generatoren kan mye av dette gjøres på en brøkdel av tiden. AI-håndterer den tunge jobben med innholdsskapning. Dette betyr raskere prototyping av spillverdener og raskere iterasjon av ideer.
Mindre manuell modellering: SynCity AI automatiserer de kjedelige delene av verdenbygging. Utviklere trenger ikke å modellere hver stein, hus eller tre for hånd. Verktøyet genererer disse elementene i henhold til tekstbeskrivelsen. Dette frigjør kunstnere fra mye av det kjedelige arbeidet og lar dem fokusere på å forbedre utseendet og følelsen. Det hjelper å eliminere denne slitne jobben.
Økt kreativitet og eksperimentering: Fordi det er så enkelt å skape en scene med dette verktøyet (bare beskriv det i tekst), kan spilldesignere eksperimentere med ville ideer uten en stor investering. Du kan raskt visualisere forskjellige miljøkonsepter. Dette oppmuntrer til å prøve ut nye temaer eller stiler. Hvis du ikke liker resultatet, kan du justere beskrivelsen eller tilpasse noen fliser og få en ny versjon. Den raske omskiftningen fra ide til 3D-verden kan inspirere mer kreativitet og innovasjon i design.
Skalering for mindre lag: Ikke alle studioer har et stort lag av 3D-kunstnere. Et verktøy som dette kan gi mindre uavhengige spillutviklingslag eller enkeltstående VR-creatore mulighet til å produsere omfattende verdener som ellers ville være utenfor rekkevidde. Teknologien gjør mye av den tunge jobben, så selv et lite lag kan slå over sin egen vekt i innholdsskapning. Det senker terskelen for å lage rike 3D-miljøer.

Fremtiden for SynCity AI sine tekst-til-3D-modeller

Dette prosjektet er et glimt av hvor industrien er på vei. Selv om utgangene ikke er særlig imponerende ennå, som med andre AI-modeller, er de sannsynligvis forbedret betydelig i fremtiden. Ideen om “tekst til 3D-verden” generering var nesten vitenskapelig fiksjon ikke lenge siden, men nå blir det virkelighet. Vi ser rask vekst i verktøy som kan ta en enkel beskrivelse og omdanne det til spillklart innhold. SynCity AI er ett av de første som genererer hele verdener på denne måten, og det vil sannsynligvis ikke være det siste. I fremtiden kan vi forvente tekst-til-3D-teknologi å bli enda mer kraftfull og tilgjengelig.
Tenk deg en nivådesigner som bare skriver ut visjonen for et nivå – “en alienplanet med flytende øyer og lilla skoger”. Nå, tenk deg en AI som SynCity som omdanner denne beskrivelsen til en start 3D-verden. Etterhvert som algoritmene blir bedre, blir disse verdener mer detaljerte og sanne til designerens visjon. Kvaliteten på aktivum forbedres. Sammenhengen av store scener forbedres. Vi kan til og med se disse verktøyene integrert i spillmotorer. Her kan utviklere forbedre AI-genererte verdener rett innen motoren, kombinere AI-hastighet med menneskelig kreativitet.
For VR-designere åpner verktøy som SynCity 3D-generatoren muligheten for generering av verdener på flukt, hvor erfaringer kunne til og med bli tilpasset hver enkelt bruker gjennom en beskrivelse. Teknologien utvikler seg raskt. Generering av innhold fra tekstbeskrivelser kan bli et standardverktøy i den kreative prosessen for spill og VR. Disse fremgangene antyder at fremtiden for verdenbygging kan fokusere mindre på nøye modellering. I stedet kan det helle mot å guide intelligente verktøy med innovative ideer.