SynCity AI generuje trójwymiarowe światy gier z prostego tekstu

A co jeśli mógłbyś zbudować całość? Świat 3D po prostu wpisując opis tekstowy? SynCity to nowe narzędzie AI, które ma to umożliwić. Jest to system bez szkolenia, który generuje światy 3D z prostych monitów tekstowych. Oznacza to, że SynCity to generator tekstu do świata 3D, który nie wymaga żadnego wcześniejszego szkolenia przed użyciem. Pomaga twórcom w skuteczniejszym budowaniu środowisk wirtualnych przy mniejszym wysiłku. Jako twórca gier i Projektanci VR, oznacza to budowanie emocjonujących scen bez konieczności robienia wszystkiego ręcznie.

Czym jest SynCity?

Miasto Syntetyczne jest zasadniczo generatorem tekstu do świata 3D zasilanym przez sztuczną inteligencję. W przeciwieństwie do niektórych wcześniejszych narzędzi, które mogły generować tylko pojedyncze obiekty 3D, może on wygenerować całą scenę lub pejzaż miejski za jednym razem. I oto haczyk: nie potrzebuje żadnego dodatkowego szkolenia na nowych danych, aby to zrobić. Generator SynCity 3D wykorzystuje wstępnie wyszkolone modele (takie, które już wiedzą, jak tworzyć obrazy i kształty 3D) i sprytnie je łączy. Rezultatem jest złożony, spójny świat 3D wygenerowany z prostego monitu tekstowego, kompletny ze spójnym stylem i szczegółami w całej scenie. I tak, te wygenerowane światy nie są statycznymi migawkami – możesz poruszać wirtualną kamerą i swobodnie eksplorować je jako prawdziwe przestrzenie 3D.

Jak działa SynCity AI?

SynCity AI wykorzystuje wieloetapowy proces generowania kompletnego świata 3D. Nie generuje całego świata na raz. Zamiast tego buduje scenę kawałek po kawałku lub kafelek po kafelku, zapewniając, że każda część pasuje do siebie. Ta metoda daje dużą kontrolę nad układem i szczegółami świata.

Wykorzystuje podejście oparte na kafelkach do budowania światów. Każdy kafelek jest najpierw generowany jako obraz (podpowiedzi 2D), następnie przekształcany w model 3D (podpowiedzi 3D) i na końcu łączony z sąsiadującymi kafelkami w pełny świat (łączenie 3D). Powyższy obraz ilustruje ten proces: zaczynając od podpowiedzi tekstowej do kafelka 2D, następnie do kafelka 3D i płynnie łącząc go z większą sceną 3D.

Oto jak to działa krok po kroku:

Monitowanie 2D (generowanie kafelka obrazu): Zaczyna się od stworzenia obrazu 2D dla fragmentu świata („kafelka”). Używa wstępnie wytrenowanego modelu generowania obrazu o nazwie Flux. System przyjmuje tekstowy monit i wszelkie istniejące sąsiadujące kafelki jako kontekst. Używając Flux z podejściem inpainting, wypełnia nowy kafelek tak, aby pasował do opisu i był wyrównany z sąsiednimi obszarami. Mówiąc prościej, rysuje mały fragment świata, upewniając się, że krawędzie będą ładnie łączyć się z tym, co już tam jest.

Konwersja 3D (obraz na kafelek 3D): Następnie konwertuje ten obraz kafelka 2D na rzeczywisty model 3D. Na tym etapie używa narzędzia o nazwie TRELLIS. TRELLIS to wstępnie wytrenowany generator obrazu do 3D. Zasadniczo bierze obraz 2D i nadaje mu głębię i objętość, tworząc kafel 3D. Przed konwersją może dostosować kafel (na przykład wyodrębniając pierwszy plan i dodając podstawę), aby TRELLIS mógł utworzyć solidny fragment 3D świata. Po tym kroku mamy kafel, który nie jest po prostu płaskim obrazem, ale fragmentem terenu 3D lub architektury, po którym można chodzić.

Łączenie i zszywanie (scalanie kafelków): Teraz nowy kafel 3D musi zostać umieszczony w istniejącym świecie. System „zszywa” nowy kafel z sąsiadującymi, tak aby nie było widocznych łączeń. Robi to poprzez renderowanie granic, w których nowy kafelek styka się z innymi, a następnie używając modelu malowania obrazu, aby je połączyć. Innymi słowy, wypełnia wszelkie luki lub niedopasowania na krawędziach, dzięki czemu przejście wygląda płynnie w 2D. Następnie przekazuje ten połączony wynik z powrotem do generatora 3D (TRELLIS), aby dopracować rzeczywistą geometrię 3D na łączeniu. Zapewnia to, że fizyczne elementy 3D łączą się bezproblemowo bez pęknięć lub dziwnych nierówności. Na koniec nowy kafel 3D jest dodawany do świata, w pełni zintegrowany jako część ciągłego krajobrazu 3D.

System powtarza ten proces kafelek po kafelku. Każde generowanie kafelka bierze pod uwagę kontekst całej sceny, dzięki czemu możesz stale rozszerzać świat. Rezultatem jest spójne środowisko 3D zbudowane kawałek po kawałku, niemal jak kołdra. Ale wygląda jak pojedynczy, duży świat, gdy go eksplorujesz. To podejście pozwala SynCity generować bardzo duże sceny, które są nadal spójne i szczegółowe.

Korzyści płynące z generatorów świata 3D, takich jak SynCity, dla twórców gier wideo i projektantów VR

Korzystanie z SynCity może przynieść szereg korzyści twórcom gier i projektantom VR:

Dramatyczna oszczędność czasu: Zbudowanie szczegółowego poziomu gry lub środowiska VR od podstaw może zająć zespołowi tygodnie lub miesiące. Dzięki generatorowi SynCity 3D wiele z tego można zrobić w ułamku czasu. Sztuczna inteligencja zajmuje się ciężkim podnoszeniem ciężaru tworzenia treści. Oznacza to szybsze prototypowanie światów gry i szybszą iterację pomysłów.

Mniej ręcznej pracy nad modelowaniem: SynCity AI automatyzuje przyziemne części budowania świata. Deweloperzy nie muszą ręcznie modelować każdego kamienia, domu czy drzewa. Narzędzie generuje te elementy zgodnie z opisem tekstowym. Uwalnia to artystów od wielu żmudnych prac i pozwala im skupić się na udoskonalaniu wyglądu i stylu. Pomaga wyeliminować ten grind.

Pobudzona kreatywność i eksperymentowanie: Ponieważ tak łatwo jest stworzyć scenę za pomocą tego narzędzia (wystarczy opisać ją w tekście), projektanci gier mogą eksperymentować z szalonymi pomysłami bez ogromnej inwestycji. Możesz szybko wizualizować różne koncepcje środowiska. To zachęca do wypróbowywania nowych motywów lub stylów. Jeśli nie podoba Ci się wynik, możesz zmienić monit lub dostosować kilka kafelków i uzyskać nową wersję. Szybkie przejście od pomysłu do świata 3D może zainspirować większą kreatywność i innowacyjność w projektowaniu.

Skalowanie dla mniejszych zespołów: Nie każde studio ma duży zespół artystów 3D. Narzędzie takie jak to może umożliwić małym zespołom niezależnych gier lub twórcom VR tworzenie rozległych światów, które normalnie byłyby poza zasięgiem. Technologia ta wykonuje wiele ciężkiej pracy, więc nawet mały zespół może przebić się w tworzeniu treści. Obniża barierę wejścia do tworzenia bogatych środowisk 3D.

Przyszłość SynCity AI w zakresie przekształcania tekstu w modele 3D

Ten projekt to rzut oka na to, w jakim kierunku zmierza branża. Chociaż wyniki nie są jeszcze imponujące, jak w przypadku innych modeli AI, prawdopodobnie znacznie się poprawią w przyszłości. Pomysł generowania „tekstu do świata 3D” był jeszcze niedawno niemal science fiction, ale teraz staje się rzeczywistością. Obserwujemy szybki wzrost liczby narzędzi, które mogą wziąć prosty opis i przekształcić go w gotową do gry treść. SynCity AI jest jednym z pierwszych, które generują całe światy w ten sposób i z pewnością nie będzie ostatnim. W przyszłości możemy oczekiwać, że technologia tekst-do-3D stanie się jeszcze potężniejsza i bardziej dostępna.

Wyobraź sobie projektanta poziomów po prostu wpisującego wizję poziomu – „obca planeta z unoszącymi się wyspami i fioletowymi lasami”. Teraz wyobraź sobie sztuczną inteligencję, taką jak SynCity, zamieniającą ten opis w początkowy świat 3D. W miarę jak algorytmy stają się lepsze, te światy stają się bardziej szczegółowe i wierne wizji projektanta. Jakość zasobów się poprawia. Spójność dużych scen się poprawia. Możemy nawet zobaczyć te narzędzia zintegrowane z silnikami gier. Tutaj programiści mogą udoskonalać Światy generowane przez sztuczną inteligencję bezpośrednio w silniku, łącząc prędkość sztucznej inteligencji z ludzką kreatywnością.

Dla projektantów VR narzędzia takie jak SynCity 3D generator otwierają możliwość generowania świata w locie, gdzie doświadczenia mogłyby być nawet personalizowane dla każdego użytkownika za pomocą opisu. Technologia ta szybko się rozwija. Generowanie treści z opisów tekstowych może stać się standardowym narzędziem w procesie kreatywnym gier i VR. Te postępy sugerują, że przyszłość budowania świata może koncentrować się mniej na skrupulatnym modelowaniu. Zamiast tego może bardziej skłaniać się ku kierowaniu inteligentnymi narzędziami za pomocą innowacyjnych pomysłów.