SynCity AI створює тривимірні ігрові світи з простого тексту

Що, якби ви могли побудувати ціле 3D світ просто ввівши текстовий опис? SynCity — це новий інструмент ШІ, який робить це можливим. Це система без навчання, яка створює 3D-світи з простих текстових підказок. Тобто SynCity — це генератор тривимірного світу тексту, який не потребує попереднього навчання перед використанням. Те, що він робить, це допомагає творчим людям створювати віртуальні середовища більш ефективно та з меншими зусиллями. Як розробник ігор і Дизайнери VR, це означає створення захоплюючих сцен, не роблячи все вручну.

Що таке SynCity?

SynCity це, по суті, генератор тексту в 3D-світ на основі штучного інтелекту. На відміну від деяких попередніх інструментів, які могли генерувати лише окремі 3D-об’єкти, він може створити цілу сцену чи міський пейзаж за один раз. І ось головна перевага: для цього не потрібне додаткове навчання новим даним. Генератор 3D SynCity використовує попередньо підготовлені моделі (ті, які вже знають, як створювати зображення та 3D-форми) і вміло їх поєднує. Результатом є складний, послідовний 3D-світ, створений із простого текстового підказки, доповнений узгодженим стилем і деталізацією всієї сцени. І так, ці згенеровані світи не є статичними знімками – Ви фактично можете переміщати віртуальну камеру та вільно досліджувати їх як справжні 3D-простори.

Як працює SynCity AI?

SynCity AI використовує багатоетапний конвеєр для створення повного 3D-світу. Він не створює весь світ за один раз. Замість цього він створює сцену частина за частиною або плитка за плиткою, гарантуючи, що кожна частина підходить одна до одної. Цей метод дає великий контроль над компонуванням і деталізацією світу.

Він використовує a плитковий підхід будувати світи. Кожна плитка спочатку створюється як зображення (2D-підказка), потім перетворюється на 3D-модель (3D-підказка) і, нарешті, змішується з сусідніми плитками в повний світ (3D-змішування). Зображення вище ілюструє цей конвеєр: починаючи від текстового підказки до 2D-плитки, потім до 3D-плитки та плавно вставляючи її у більшу 3D-сцену.

Щоб розібрати це крок за кроком, ось як це працює:

2D-підказка (генерація плитки зображення): Він починається зі створення 2D-зображення для частини світу («плитки»). Він використовує попередньо навчену модель генерації зображень під назвою Flux. Система приймає текстову підказку та будь-які наявні сусідні плитки як контекст. Використовуючи Flux із підходом малювання, він заповнює нову плитку так, щоб вона відповідала опису та вирівнювалася з суміжними областями. Простіше кажучи, це малює маленький шматочок світу, переконавшись, що краї гарно з’єднуються з тим, що вже є.

3D-перетворення (зображення в 3D-плитку): Далі він перетворює це двовимірне зображення плитки на справжню 2D-модель. Для цього етапу використовується інструмент під назвою TRELLIS. TRELLIS — це попередньо навчений генератор зображення в 3D. По суті, він робить двовимірне зображення та надає йому глибини та об’єму, створюючи 3D-плитку. Перед перетворенням він може налаштувати мозаїку (наприклад, вилучити передній план і додати основу), щоб TRELLIS міг створити суцільну 2D-фрагмент світу. Після цього кроку ми маємо плитку, яка є не просто плоским зображенням, а частиною 3D місцевості чи архітектури, навколо якої можна ходити.

Змішування та зшивання (об’єднання плиток): Тепер нову 3D плитку потрібно розмістити в існуючому світі. Система «зшиває» нову плитку з сусідніми, щоб не було видимих ​​швів. Це робиться шляхом візуалізації меж, де нова плитка зустрічається з іншими, а потім використовує модель малювання зображення для їх змішування. Іншими словами, він заповнює будь-які прогалини або невідповідності на краях, тому перехід виглядає плавним у 2D. Потім він подає цей змішаний результат назад у 3D-генератор (TRELLIS), щоб уточнити фактичну 3D-геометрію на шві. Це гарантує плавне з’єднання фізичних 3D-деталей без тріщин або дивних нерівностей. Нарешті, нова 3D-плитка додається до світу, повністю інтегрована як частина безперервного 3D-ландшафту.

Система повторює цей процес плитку за плиткою. Кожне покоління плиток враховує контекст загальної сцени, тож ви можете продовжувати розширювати світ. Результатом є цілісне 3D-середовище, створене шматок за шматком, майже як ковдра. Але це виглядає як єдиний великий світ, коли ви його досліджуєте. Цей підхід дозволяє SynCity генерувати дуже великі сцени, які залишаються послідовними та детальними.

Переваги генераторів 3D-світу, таких як SynCity, для розробників відеоігор і дизайнерів VR

Використання SynCity може надати кілька переваг для розробників ігор і дизайнерів VR:

Значна економія часу: Створення детального ігрового рівня або середовища віртуальної реальності з нуля може зайняти у команди тижні або місяці. За допомогою генератора SynCity 3D багато чого можна зробити за частку часу. Штучний інтелект справляється з важким завданням створення контенту. Це означає швидше створення прототипів ігрових світів і швидшу ітерацію ідей.

Менше ручної роботи з моделювання: Штучний інтелект SynCity автоматизує повсякденні процеси створення світу. Розробникам не потрібно моделювати кожен камінь, будинок чи дерево вручну. Інструмент генерує ці елементи відповідно до текстового опису. Це звільняє художників від великої кількості виснажливої ​​роботи та дозволяє їм зосередитися на покращенні зовнішнього вигляду та відчуття. Це допомагає усунути цей помел.

Розвиток креативності та експериментування: Оскільки за допомогою цього інструменту дуже легко створити сцену (просто опишіть це в тексті), дизайнери ігор можуть експериментувати з дикими ідеями без величезних інвестицій. Ви можете швидко візуалізувати різні концепції середовища. Це заохочує пробувати нові теми чи стилі. Якщо вам не подобається результат, ви можете налаштувати підказку або налаштувати кілька плиток і отримати нову версію. Швидкий перехід від ідеї до 3D-світу може надихнути на більше творчості та інновацій у дизайні.

Масштабування для менших команд: Не кожна студія має велику команду 3D-художників. Подібний інструмент може дати змогу невеликим інді-ігровим командам або окремим творцям віртуальної реальності створювати просторі світи, які зазвичай були б недоступні. Технологія виконує значну частину важкої роботи, тому навіть невелика команда може перевищити свою вагу у створенні контенту. Це знижує бар’єр для створення насиченого 3D-середовища.

Майбутнє моделей перетворення тексту в 3D від SynCity AI

Цей проект є проблиском того, куди рухається галузь. Хоча результати ще не вражають, як і з іншими моделями AI, вони, ймовірно, значно покращаться в майбутньому. Ідея створення «тексту в 3D-світ» ще недавно була майже науковою фантастикою, але тепер вона стає реальністю. Ми спостерігаємо швидке зростання інструментів, які можуть приймати простий опис і перетворювати його на готовий до гри вміст. SynCity AI є одним із перших, хто генерує цілі світи таким чином, і точно не останнім. У майбутньому ми можемо очікувати, що технологія перетворення тексту в 3D стане ще потужнішою та доступнішою.

Уявіть собі дизайнера рівнів, який просто друкує бачення рівня – «чужа планета з плавучими островами та фіолетовими лісами». Тепер уявіть собі штучний інтелект, такий як SynCity, який перетворює цей опис на початковий 3D-світ. У міру вдосконалення алгоритмів ці світи стають більш деталізованими та відповідають баченню дизайнера. Якість ресурсів покращується. Покращується узгодженість великих сцен. Ми навіть можемо побачити ці інструменти інтегрованими в ігрові двигуни. Тут розробники можуть удосконалювати... Світи, створені ШІ прямо в двигуні, поєднуючи швидкість штучного інтелекту з людською творчістю.

Для дизайнерів віртуальної реальності такі інструменти, як SynCity 3D generator, відкривають можливість генерувати світ на льоту, де досвід можна навіть персоналізувати для кожного користувача за допомогою опису. Технологія швидко розвивається. Генерація контенту з текстових описів може стати стандартним інструментом у творчому процесі для ігор та VR. Ці досягнення свідчать про те, що майбутнє світобудови може менше зосереджуватися на ретельному моделюванні. Натомість він міг би більше орієнтуватися на керування інтелектуальними інструментами з інноваційними ідеями.