SynCity AI Генерує 3D Ігрові Світи з Простих Текстових Описів

Що якщо ви могли б створити цілий 3D світ просто вводячи текстовий опис? SynCity – це новий інструмент штучного інтелекту, який має зробити це можливим. Це система без попереднього навчання, яка генерує 3D світи з простих текстових підказок. Інакше кажучи, SynCity – це генератор 3D світу з тексту, який не потребує попереднього навчання перед використанням. Що воно робить, так це допомагає творчим людям будувати віртуальні середовища більш ефективно та з меншими зусиллями. Для розробників ігор та дизайнерів VR це означає створення захоплюючих сцен без виконання всього вручну.

Що таке SynCity?

SynCity по суті є генератором 3D світу з тексту, що працює на штучному інтелекті. На відміну від деяких попередніх інструментів, які могли генерувати тільки окремі 3D об’єкти, воно може створити весь сценарій або міський пейзаж одним заходом. А ось і головне: воно не потребує додаткового навчання на нових даних для цього. Генератор 3D світу SynCity використовує попередньо навчені моделі (ті, які вже знають, як створювати зображення та 3D фігури) і поєднує їх хитрим чином. Результатом є складний, узгоджений 3D світ, згенерований з простої текстової підказки, повний зі стильовою та детальною узгодженістю по всьому сценарію. І так, ці згенеровані світи не є статичними знімками – ви можете фактично перемістити віртуальну камеру та вільно досліджувати їх як справжні 3D простори.

Як працює SynCity AI?

SynCity AI використовує багатокроковий процес для генерації повного 3D світу. Воно не генерує весь світ одним заходом. Замість цього воно будує сцену шматок за шматком, або плитка за плиткою, забезпечуючи, щоб кожна частина пасувала одна до одної. Цей метод дає великий контроль над макетом та деталями світу.
Воно використовує підхід на основі плиток для побудови світів. Кожна плитка спочатку генерується як зображення (2D підказка), потім перетворюється на 3D модель (3D підказка), а потім поєднується з сусідніми плитками в повний світ (3D змішування). Зображення вище ілюструє цей процес: починаючи від текстової підказки до 2D плитки, потім до 3D плитки та шиття її безшовно в більшу 3D сцену.
Розбити це крок за кроком, ось як воно працює:
2D Підказка (Генерація зображення плитки): Воно починається з створення 2D зображення для секції світу (плитки). Воно використовує попередньо навчену модель генерації зображень під назвою Flux. Система приймає текстову підказку та будь-які існуючі сусідні плитки як контекст. Використовуючи Flux з підходом інпейнтінгу, воно заповнює нову плитку так, щоб вона відповідала опису та вписувалася в сусідні ділянки. Простими словами, воно малює маленьку частину світу, забезпечуючи, щоб краї з’єднувалися гарно з тим, що вже існує.
3D Перетворення (Зображення в 3D Плитку): Далі воно перетворює це 2D зображення плитки на фактичну 3D модель. Воно використовує інструмент під назвою TRELLIS для цього етапу. TRELLIS – це попередньо навчений генератор 3D зображень. По суті, воно бере 2D зображення та надає йому глибину та об’єм, створюючи 3D плитку. Перед перетворенням воно може調устувати плитку (наприклад, витягуючи передній план та додаючи основу), щоб TRELLIS міг створити солідну 3D частину світу. Після цього кроку у нас є плитка, яка не просто плоске зображення, а частина 3D рельєфу або архітектури, яку можна обійти.
Змішування та Шиття (Об’єднання Плиток): Тепер нова 3D плитка повинна бути розміщена в існуючому світі. Система “зшиває” нову плитку з сусідніми так, щоб не було видимих швів. Воно робить це, відтворюючи межі, де нова плитка зустрічається з іншими, а потім використовуючи модель інпейнтінгу зображень для змішування їх. Інакше кажучи, воно заповнює будь-які прогалини або несумісності на краях, щоб перехід виглядав гладко у 2D. Потім воно подає цей змішаний результат назад у генератор 3D (TRELLIS), щоб уточнити фактичну 3D геометрію на шві. Це забезпечує, щоб фізичні 3D частини з’єднувалися без тріщин або дивних бугрів. Нарешті, нова 3D плитка додається до світу, повністю інтегрована як частина безперервного 3D ландшафту.
Система повторює цей процес плитка за плиткою. Кожна генерація плитки враховує контекст загальної сцени, тому ви можете продовжувати розширювати світ. Результатом є узгоджене 3D середовище, побудоване шматок за шматком, майже як квilt. Але воно виглядає як єдиний, великий світ, коли ви досліджуєте його. Цей підхід дозволяє SynCity генерувати дуже великі сцени, які все ще є узгодженими та детальними.

Переваги генераторів 3D світу, таких як SynCity, для розробників відеоігор та дизайнерів VR

Використання SynCity може пропонувати кілька переваг для розробників ігор та дизайнерів VR:
Драматичні заощадження часу: Будування детального рівня гри або середовища VR з нуля може зайняти у команди тижні або місяці. З допомогою генератора 3D світу SynCity більша частина цього можна зробити за частку часу. Штучний інтелект виконує важку роботу створення контенту. Це означає швидше прототипування ігор світу та швидшу ітерацію ідей.
Менша ручна робота з моделюванням: SynCity AI автоматизує монотонні частини побудови світу. Розробники не повинні моделювати кожен камінь, будинок чи дерево вручну. Інструмент генерує ці елементи згідно з текстовим описом. Це звільняє художників від великої кількості монотонної роботи та дозволяє їм зосередитися на вдосконаленні вигляду та відчуття. Воно допомагає ліквідувати цю нудну роботу.
Збільшення креативності та експериментів: Через те, що створення сцени з цим інструментом дуже просте (просто опишіть її текстом), дизайнери ігор можуть експериментувати з дикими ідеями без великих вкладень. Ви можете швидко візуалізувати різні концепції середовища. Це заохочує спроби нових тем або стилів. Якщо вам не подобається результат, ви можете налаштувати підказку або调整 декілька плиток та отримати нову версію. Швидке звернення від ідеї до 3D світу може надихнути більшу креативність та інновації у дизайні.
Масштабування для менших команд: Не кожна студія має велику команду 3D-художників. Інструмент, такий як цей, може наділити малими інді-командами розробників ігор або сольними творцями VR можливістю створювати розширені світи, які звичайно були б недосяжні. Технологія виконує велику частину важкої роботи, тому навіть мала команда може перевершити свої можливості у створенні контенту. Воно знижує бар’єр для створення багатих 3D середовищ.

Майбутнє текстових моделей 3D світу SynCity AI

Цей проєкт – це погляд на те, куди рухається індустрія. Хоча результати поки не вражаючі, як і інші моделі штучного інтелекту, вони, ймовірно, значно покращаться у майбутньому. Ідея “текст в 3D світ” була майже науковою фантастикою не так давно, але тепер вона стає реальністю. Ми спостерігаємо швидкий ріст інструментів, які можуть взяти простий опис та перетворити його на готовий контент для гри. SynCity AI – один із перших, хто генерує цілі світи таким чином, і він точно не буде останнім. У майбутньому ми можемо очікувати, що технологія тексту в 3D стане ще більш потужною та доступною.
Представьте собі дизайнера рівня, який просто вводить бачення рівня – “іноземна планета з плавающими островами та фіолетовими лісами”. Тепер уявіть собі штучний інтелект, такий як SynCity, який перетворює цей опис у початковий 3D світ. Коли алгоритми покращаться, ці світи стануть більш деталізованими та відповідними баченню дизайнера. Якість активів покращиться. Узгодженість великих сцен покращиться. Ми можемо навіть побачити ці інструменти інтегровані у рушії ігор. Тут розробники можуть уточнювати AI-генеровані світи прямо у рушії, поєднуючи швидкість AI з людською креативністю.
Для дизайнерів VR інструменти, такі як генератор 3D світу SynCity, відкривають можливість генерації світів на льоту, де досвіди навіть можуть бути персоналізовані для кожного користувача через опис. Технологія розвивається швидко. Генерація контенту з текстових описів може стати стандартним інструментом у творчому процесі для ігор та VR. Ці досягнення свідчать про те, що майбутнє побудови світу може зосередитися менше на ретельному моделюванні. Замість цього воно може зосередитися на керуванні розумними інструментами з інноваційними ідеями.