SynCity AI generuje światy gier 3D z prostych opisów tekstowych

Co się stanie, gdy będziesz mógł zbudować cały świat 3D tylko poprzez wpisanie opisu tekstowego? SynCity to nowe narzędzie AI, które ma na celu uczynienie tego możliwym. Jest to system bez szkolenia, który generuje światy 3D z prostych opisów tekstowych. Innymi słowy, SynCity jest generatorem świata 3D z tekstu, który nie wymaga żadnego szkolenia przed użyciem. Pomaga on twórcom w budowaniu wirtualnych środowisk w sposób bardziej efektywny i z mniejszym nakładem pracy. Dla deweloperów gier i projektantów VR oznacza to budowanie ekscytujących scen bez konieczności ręcznego wykonania wszystkiego.

Co to jest SynCity?

SynCity to podstawowo generátor świata 3D z tekstu, napędzany przez sztuczną inteligencję. W przeciwieństwie do niektórych wcześniejszych narzędzi, które mogły generować tylko pojedyncze obiekty 3D, może on wyprodukować całą scenę lub panoramę miasta w jednym przejściu. A oto co najważniejsze: nie wymaga żadnego dodatkowego szkolenia na nowych danych, aby to zrobić. Generátor SynCity 3D wykorzystuje pre-trenowane modele (te, które już wiedzą, jak tworzyć obrazy i kształty 3D) i łączy je w sposób inteligentny. Wynikiem jest złożony, spójny świat 3D wygenerowany z prostego opisu tekstowego, w pełni zgodny ze stylem i detalami na całej scenie. I tak, te wygenerowane światy nie są statycznymi zdjęciami – można rzeczywiście poruszać się po nich wirtualną kamerą i swobodnie je eksplorować jako prawdziwe przestrzenie 3D.

Jak działa SynCity AI?

SynCity AI wykorzystuje wieloetapowy proces, aby wygenerować cały świat 3D. Nie generuje on całego świata w jednym przejściu. Zamiast tego, buduje scenę kawałek po kawałku, lub tile po tile, zapewniając, że każdy element pasuje do siebie. Ta metoda daje dużą kontrolę nad układem i detalami świata.

Wykorzystuje approach oparty na tile, aby budować światy. Każdy tile jest najpierw wygenerowany jako obraz (2D prompting), a następnie przekształcony w model 3D (3D prompting), a ostatecznie połączony z sąsiednimi tile w pełny świat (3D blending). Powyższy obraz ilustruje ten proces: zaczynając od opisu tekstowego, przez tile 2D, następnie tile 3D, aż do połączenia go bezszwowo w większą scenę 3D.

Aby to wyjaśnić krok po kroku, oto jak to działa:

2D Prompting (Generowanie tile jako obrazu): Zaczyna od tworzenia obrazu 2D dla części świata („tile”). Wykorzystuje pre-trenowany model generacji obrazu o nazwie Flux. System przyjmuje opis tekstowy i istniejące sąsiednie tile jako kontekst. Wykorzystując Flux z podejściem inpainting, wypełnia nowy tile tak, aby pasował do opisu i łączył się z sąsiednimi obszarami. Po prostu, rysuje mały kawałek świata, upewniając się, że krawędzie będą ładnie łączyć się z tym, co już istnieje.

3D Konwersja (Obraz na tile 3D): Następnie konwertuje ten obraz 2D na rzeczywisty model 3D. Wykorzystuje do tego narzędzie o nazwie TRELLIS. TRELLIS to pre-trenowany generator obrazu na 3D. Podstawowo, bierze obraz 2D i nadaje mu głębię i objętość, wytwarzając tile 3D. Przed konwersją może dostosować tile (np. wyodrębnić pierwszy plan i dodać podstawę), aby TRELLIS mógł utworzyć solidny kawałek świata 3D. Po tym kroku mamy tile, który nie jest już tylko płaskim obrazem, ale kawałkiem terenu lub architektury 3D, którym można się poruszać.

Blending i szycie (Łączenie tile): Teraz nowy tile 3D musi zostać umieszczony w istniejącym świecie. System „szycie” nowy tile z sąsiednimi, tak aby nie było widocznych szwów. Robi to, renderując granice, gdzie nowy tile spotyka się z innymi, a następnie wykorzystując model inpainting, aby je połączyć. Innymi słowy, wypełnia wszelkie luki lub niepasujące elementy na krawędziach, tak aby przejście wyglądało gładko w 2D. Następnie podaje ten połączony wynik z powrotem do generatora 3D (TRELLIS), aby udoskonalić rzeczywistą geometrię 3D w szwie. Zapewnia to, że fizyczne kawałki 3D łączą się bezszwowo, bez pęknięć czy dziwnych nierówności. W końcu nowy tile 3D jest dodany do świata, w pełni zintegrowany jako część ciągłej przestrzeni 3D.

System powtarza ten proces tile po tile. Każda generacja tile uwzględnia kontekst całej sceny, więc możesz nadal rozbudowywać świat. Wynikiem jest spójne środowisko 3D zbudowane kawałek po kawałku, niemal jak patchwork. Ale wygląda to jak jeden, duży świat, gdy go eksplorujesz. Ten approach pozwala SynCity generować bardzo duże sceny, które są nadal spójne i szczegółowe.

Korzyści z generatorów świata 3D, takich jak SynCity, dla deweloperów gier i projektantów VR

Użycie SynCity może zapewnić kilka korzyści dla deweloperów gier i projektantów VR:

Znaczne oszczędności czasu: Budowanie szczegółowego poziomu gry lub środowiska VR od podstaw może zająć zespołowi tygodnie lub miesiące. Z generatorem SynCity 3D wiele z tego może być zrobione w ułamku czasu. AI zajmuje się ciężką pracą tworzenia treści. Oznacza to szybsze prototypowanie światów gier i szybsze iterowanie pomysłów.

Mniej ręcznej pracy modelarskiej: SynCity AI automatyzuje nudne części budowy świata. Deweloperzy nie muszą modelować każdego kamienia, domu czy drzewa ręcznie. Narzędzie generuje te elementy zgodnie z opisem tekstowym. To uwalnia artystów od wielu monotonnych prac i pozwala im skupić się na udoskonaleniu wyglądu i odczucia. Pomaga wyeliminować tę nudę.

Zwiększona kreatywność i eksperymentowanie: Ponieważ jest tak łatwo stworzyć scenę z tym narzędziem (po prostu opisz ją w tekście), projektanci gier mogą eksperymentować z dzikimi pomysłami bez dużych nakładów. Można szybko wizualizować różne koncepcje środowiska. To zachęca do próbowania nowych tematów lub stylów. Jeśli nie podoba ci się wynik, możesz dostosować opis lub dostosować kilka tile i uzyskać nową wersję. Szybka reakcja od pomysłu do świata 3D może inspirować więcej kreatywności i innowacji w projekcie.

Skalowanie dla mniejszych zespołów: Nie każde studio ma duży zespół artystów 3D. Narzędzie takie jak to może umożliwić mniejszym, niezależnym zespołom gier lub solo twórcom VR stworzenie rozległych światów, które normalnie byłyby poza ich zasięgiem. Technologia robi dużo ciężkiej pracy, więc nawet mały zespół może osiągnąć więcej w tworzeniu treści. Obniża barierę wejścia do tworzenia bogatych środowisk 3D.

Przyszłość modeli 3D SynCity AI

Ten projekt to zarys, w którym kierunku zmierza branża. Chociaż wyniki nie są jeszcze imponujące, jak w przypadku innych modeli AI, prawdopodobnie znacznie się poprawią w przyszłości. Pomysł „tekst do świata 3D” był prawie science fiction nie tak dawno, ale teraz staje się rzeczywistością. Widzimy szybki wzrost narzędzi, które mogą wziąć prosty opis i przekształcić go w gotową do użycia treść gry. SynCity AI jest jednym z pierwszych, które generują całe światy w ten sposób, i na pewno nie będzie ostatnim. W przyszłości możemy oczekiwać, że technologia tekst-3D stanie się jeszcze potężniejsza i bardziej dostępna.

Wyobraź sobie projektanta poziomu, który po prostu wpisuje swoją wizję poziomu – „planeta obca z pływającymi wyspami i fioletowymi lasami”. Teraz wyobraź sobie AI jak SynCity, która zamienia ten opis w starterowy świat 3D. Im lepsze algorytmy, tym bardziej szczegółowe i zgodne z wizją projektanta stają się te światy. Jakość assetów się poprawia. Spójność dużych scen się zwiększa. Możemy nawet zobaczyć te narzędzia zintegrowane z silnikami gier. Tam deweloperzy mogą udoskonalić światy wygenerowane przez AI bezpośrednio w silniku, łącząc szybkość AI z ludzką kreatywnością.

Dla projektantów VR, narzędzia takie jak generator 3D SynCity otwierają możliwość generowania świata na żądanie, gdzie doświadczenia mogą być nawet personalizowane dla każdego użytkownika za pomocą opisu. Technologia rozwija się szybko. Generowanie treści z opisów tekstowych może stać się standardowym narzędziem w procesie twórczym dla gier i VR. Te postępy sugerują, że przyszłość budowy świata może skupiać się mniej na starannym modelowaniu. Zamiast tego, może bardziej polegać na kierowaniu inteligentnymi narzędziami z innowacyjnymi pomysłami.