SynCity AI Generuje Światy Gier 3D z Prostych Tekstów

Co się stanie, gdy będziesz mógł zbudować cały świat 3D tylko poprzez wpisanie opisu tekstu? SynCity to nowe narzędzie AI, które ma na celu uczynienie tego możliwym. Jest to system bez szkolenia, który generuje światy 3D z prostych podpowiedzi tekstowych. Innymi słowy, SynCity jest generatorem świata 3D z tekstu, który nie wymaga żadnego szkolenia przed użyciem. Pomaga on twórcom w budowaniu wirtualnych środowisk w sposób bardziej efektywny i z mniejszym wysiłkiem. Dla deweloperów gier i projektantów VR, oznacza to budowanie ekscytujących scen bez konieczności robienia wszystkiego ręcznie.

Czym jest SynCity?

SynCity jest podstawowo generatorem świata 3D z tekstu, napędzanym przez sztuczną inteligencję. W przeciwieństwie do niektórych wcześniejszych narzędzi, które mogły generować tylko pojedyncze obiekty 3D, może wyprodukować całą scenę lub panoramę miasta w jednym przejściu. A oto sedno sprawy: nie potrzebuje żadnego dodatkowego szkolenia na nowych danych, aby to zrobić. Generowanie SynCity 3D wykorzystuje pre-trenowane modele (te, które już wiedzą, jak tworzyć obrazy i kształty 3D) i łączy je w sposób inteligentny. Wynikiem jest złożony, spójny świat 3D wygenerowany z prostej podpowiedzi tekstowej, w pełni zgodny ze stylem i detalami na całej scenie. I tak, te wygenerowane światy nie są statycznymi zdjęciami – można naprawdę poruszać się wirtualną kamerą i swobodnie eksplorować je jako prawdziwe przestrzenie 3D.

Jak działa SynCity AI?

SynCity AI wykorzystuje wieloetapowy proces, aby wygenerować kompletny świat 3D. Nie generuje całego świata w jednym przejściu. Zamiast tego, buduje scenę kawałek po kawałku, lub kafel po kafel, zapewniając, że każda część pasuje do siebie. Ta metoda daje dużo kontroli nad układem i detalami świata.
Wykorzystuje podział na kafelki, aby budować światy. Każdy kafelek jest najpierw wygenerowany jako obraz (2D podpowiedź), a następnie przekształcony w model 3D (3D podpowiedź), a na końcu połączony z sąsiednimi kafelkami w pełny świat (3D łączenie). Powyższy obraz ilustruje ten proces: zaczynając od podpowiedzi tekstowej do 2D kafelka, a następnie do 3D kafelka i szwów w większą scenę 3D.
Aby to rozbić krok po kroku, oto jak to działa:
2D Podpowiedź (Generowanie kafelka obrazu): Zaczyna się od tworzenia 2D obrazu dla sekcji świata („kafelka”). Wykorzystuje pre-trenowany model generowania obrazu o nazwie Flux. System bierze podpowiedź tekstową i istniejące sąsiednie kafelki jako kontekst. Wykorzystując Flux z podejściem inpainting, wypełnia nowy kafelek tak, aby pasował do opisu i wyrównywał się z sąsiednimi obszarami. W prostych słowach, rysuje mały kawałek świata, upewniając się, że krawędzie ładnie połączą się z tym, co już istnieje.
3D Konwersja (Obraz na 3D kafelek): Następnie konwertuje ten 2D obraz kafelka na rzeczywisty model 3D. Wykorzystuje narzędzie o nazwie TRELLIS na tym etapie. TRELLIS jest pre-trenowanym generatorem obrazu na 3D. Podstawowo, bierze 2D obraz i daje mu głębię i objętość, wytwarzając 3D kafelek. Przed konwersją może dostosować kafelek (na przykład wyodrębniając pierwszy plan i dodając podstawę), aby TRELLIS mógł utworzyć solidny 3D kawałek świata. Po tym kroku mamy kafelek, który nie jest już tylko płaskim obrazem, ale kawałkiem 3D terenu lub architektury, który można obejść.
Łączenie i szwowanie (Łączenie kafelków): Teraz nowy 3D kafelek musi zostać umieszczony w istniejącym świecie. System „szwuje” nowy kafelek z sąsiednimi, tak aby nie było widocznych szwów. Robi to, renderując granice, gdzie nowy kafelek spotyka się z innymi, a następnie wykorzystując model inpainting, aby połączyć je. W słowach, wypełnia wszelkie luki lub niezgodności na krawędziach, tak aby przejście wyglądało gładko w 2D. Następnie podaje ten połączony wynik z powrotem do generatora 3D (TRELLIS), aby udoskonalić rzeczywistą geometrię 3D na szwie. Zapewnia to, że fizyczne kawałki 3D łączą się bez widocznych pęknięć lub dziwnych nierówności. Na końcu nowy 3D kafelek jest dodany do świata, w pełni zintegrowany jako część ciągłej przestrzeni 3D.
System powtarza ten proces kafelek po kafelku. Każda generacja kafelka uwzględnia kontekst całej sceny, więc możesz nadal rozbudowywać świat. Wynikiem jest spójne środowisko 3D zbudowane kawałek po kawałku, prawie jak patchwork. Ale wygląda to jak jeden, duży świat, gdy go eksplorujesz. Ten podejście pozwala SynCity generować bardzo duże sceny, które są nadal spójne i szczegółowe.

Korzyści z generatorów świata 3D, takich jak SynCity, dla deweloperów gier i projektantów VR

Używanie SynCity może oferować kilka korzyści dla deweloperów gier i projektantów VR:
Drastyczne oszczędności czasu: Budowanie szczegółowego poziomu gry lub środowiska VR od podstaw może zająć zespołowi tygodnie lub miesiące. Z generatorem 3D SynCity wiele z tego można zrobić w ułamku czasu. AI zajmuje się ciężką pracą tworzenia treści. Oznacza to szybsze prototypowanie światów gier i szybsze iterowanie pomysłów.
Mniej ręcznej pracy modelarskiej: SynCity AI automatyzuje nudne części budowy świata. Deweloperzy nie muszą modelować każdego kamienia, domu czy drzewa ręcznie. Narzędzie generuje te elementy zgodnie z opisem tekstowym. To uwalnia artystów od wielu monotonnych prac i pozwala im skupić się na udoskonaleniu wyglądu i odczucia. Pomaga wyeliminować tę monotonną pracę.
Zwiększona kreatywność i eksperymentowanie: Ponieważ jest tak łatwo stworzyć scenę z tym narzędziem (po prostu opisz ją w tekście), projektanci gier mogą eksperymentować z dzikimi pomysłami bez dużych nakładów. Można szybko wizualizować różne koncepcje środowiska. To zachęca do próbowania nowych tematów lub stylów. Jeśli nie podoba ci się wynik, możesz dostosować podpowiedź lub skorygować kilka kafelków i uzyskać nową wersję. Szybka reakcja od pomysłu do świata 3D może inspirować więcej kreatywności i innowacji w projekcie.
Skalowanie dla mniejszych zespołów: Nie każde studio ma duży zespół artystów 3D. Narzędzie takie może umożliwić mniejszym zespołom indie gier lub solo twórcom VR produkcję rozległych światów, które normalnie byłyby poza ich zasięgiem. Technologia robi wiele ciężkiej pracy, więc nawet mały zespół może osiągnąć więcej w tworzeniu treści. Obniża barierę wejścia do tworzenia bogatych środowisk 3D.

Przyszłość modeli 3D SynCity AI

Ten projekt to zarys, w którym kierunku zmierza branża. Chociaż wyniki nie są jeszcze imponujące, jak w przypadku innych modeli AI, prawdopodobnie znacznie się poprawią w przyszłości. Pomysł „tekst do świata 3D” był prawie science fiction nie tak dawno, ale teraz staje się rzeczywistością. Widzimy szybki wzrost narzędzi, które mogą wziąć prosty opis i przekształcić go w gotową treść. SynCity AI jest jednym z pierwszych, które generują całe światy w ten sposób, i na pewno nie będzie ostatnim. W przyszłości możemy oczekiwać, że technologia tekst-3D stanie się jeszcze bardziej potężna i dostępna.
Wyobraź sobie projektanta poziomu, który po prostu wpisuje wizję poziomu – „planeta obca z pływającymi wyspami i fioletowymi lasami”. Teraz wyobraź sobie AI, takie jak SynCity, które przekształca ten opis w wyjściowy świat 3D. Im algorytmy stają się lepsze, tym światy stają się bardziej szczegółowe i zgodne z wizją projektanta. Jakość assetów się poprawia. Spójność dużych scen się wzmacnia. Możemy nawet zobaczyć te narzędzia zintegrowane z silnikami gier. Tutaj deweloperzy mogą udoskonalić światy wygenerowane przez AI bezpośrednio w silniku, łącząc szybkość AI z ludzką kreatywnością.
Dla projektantów VR, narzędzia takie jak generator 3D SynCity otwierają możliwość generowania świata na żądanie, gdzie doświadczenia mogą być nawet personalizowane dla każdego użytkownika za pomocą opisu. Technologia rozwija się szybko. Generowanie treści z opisów tekstowych może stać się standardowym narzędziem w procesie twórczym dla gier i VR. Te postępy sugerują, że przyszłość budowy świata może skupiać się mniej na starannej modelizacji. Zamiast tego może polegać na kierowaniu inteligentnymi narzędziami z innowacyjnymi pomysłami.