SynCity AI генерує 3D ігрові світові з простих текстових описів

Що якщо ви могли б створити цілий 3D світ просто ввівши текстовий опис? SynCity – це новий інструмент штучного інтелекту, який має на меті зробити це можливим. Це система без попередньої підготовки, яка генерує 3D світові з простих текстових提示в. Це означає, що SynCity – це генератор 3D світових з текстових описів, який не потребує попередньої підготовки перед використанням. Що воно робить, так це допомагає творчим людям будувати віртуальні середовища більш ефективно та з меншими зусиллями. Для розробників ігор та дизайнерів віртуальної реальності це означає створення захопливих сцен без ручної роботи.

Що таке SynCity?

SynCity – це по суті генератор 3D світових з текстових описів, який працює на основі штучного інтелекту. На відміну від деяких попередніх інструментів, які могли генерувати тільки окремі 3D об’єкти, воно може створити цілий сцену або міський пейзаж за один раз. І ось що найцікавіше: воно не потребує додаткової підготовки на нових даних для цього. Генератор 3D світових SynCity використовує попередньо підготовлені моделі (ті, які вже знають, як створювати зображення та 3D форми) та поєднує їх хитро. Результатом є складний, узгоджений 3D світ, згенерований з простого текстового опису, з послідовним стилем та деталями по всій сцені. І так, ці згенеровані світові не є статичними знімками – ви можете фактично переміщувати віртуальну камеру та досліджувати їх вільно, як справжні 3D простори.

Як працює SynCity AI?

SynCity AI використовує багаторівневий процес для генерації повного 3D світу. Воно не генерує весь світ за один раз. Замість цього, воно будує сцену по частинах, або по плиткам, забезпечуючи, щоб кожна частина пасувала до іншої. Цей метод дає багато контролю над макетом та деталями світу.

Воно використовує підхід на основі плиток для побудови світів. Кожна плітка спочатку генерується як зображення (2D-пrompt), потім перетворюється в 3D-модель (3D-пrompt), а потім поєднується з сусідніми плитками в повний світ (3D-blending). Зображення вище ілюструє цей процес: починаючи від текстового опису до 2D-плітки, потім до 3D-плітки, та нарешті до безшовного поєднання в більшу 3D-сцену.

Розбити це на окремі кроки, ось як воно працює:

2D-пrompt (генерація зображення-плітки): Воно починається з створення 2D-зображення для частини світу (плітки). Воно використовує попередньо підготовлену модель генерації зображень під назвою Flux. Система приймає текстовий опис та будь-які існуючі сусідні плитки як контекст. Використовуючи Flux з підходом inpainting, воно заповнює нову плитку так, щоб вона відповідала опису та пасувала до сусідніх областей. Простими словами, воно малює маленьку частину світу, забезпечуючи, щоб краї пасували до того, що вже існує.

3D-конверсія (зображення в 3D-плітку): Далі воно перетворює це 2D-зображення в фактичну 3D-модель. Воно використовує інструмент під назвою TRELLIS для цього етапу. TRELLIS – це попередньо підготовлений генератор зображення в 3D. По суті, воно бере 2D-зображення та надає йому глибину та об’єм, створюючи 3D-плітку. Перед конверсією воно може调整 плитку (наприклад, витягуючи передній план та додаючи основу), щоб TRELLIS міг створити твердий 3D-фрагмент світу. Після цього кроку у нас є плитка, яка не є просто плоским зображенням, а частиною 3D-території або архітектури, яку можна обійти.

Пoisєднання та шви (поєднання плиток): Тепер нова 3D-плітка повинна бути розміщена в існуючому світі. Система “шве” нову плитку з сусідами так, щоб не було видимих швів. Воно робить це, рендерячи межі, де нова плитка зустрічає інші, а потім використовуючи модель inpainting для поєднання їх. Іншими словами, воно заповнює будь-які пробіли або несумісності на краях, так що перехід виглядає гладким у 2D. Потім воно повертає це поєднане результат назад в 3D-генератор (TRELLIS), щоб уточнити фактичну 3D-геометрію на шві. Це забезпечує, щоб фізичні 3D-фрагменти з’єднувалися безшовно без тріщин або дивних бугрів. Нарешті, нова 3D-плітка додається до світу, повністю інтегрована як частина безперервної 3D-ландшафту.

Система повторює цей процес плитка за плиткою. Кожна генерація плитки враховує контекст загальної сцени, так що ви можете продовжувати розширювати світ. Результатом є узгоджена 3D-середовище, побудоване по частинах, майже як квilt. Але воно виглядає як один великий світ, коли ви досліджуєте його. Цей підхід дозволяє SynCity генерувати дуже великі сцени, які все ще є узгодженими та деталізованими.

Переваги генераторів 3D світів, таких як SynCity, для розробників відеоігор та дизайнерів віртуальної реальності

Використання SynCity може пропонувати кілька переваг для розробників ігор та дизайнерів віртуальної реальності:

Драматичні заощадження часу: Будування детального рівня гри або середовища віртуальної реальності з нуля може зайняти команду тижні або місяці. З генератором 3D світів SynCity більша частина цього можна зробити за частку часу. Штучний інтелект займається важкою роботою створення контенту. Це означає швидшу розробку прототипів ігор та швидшу ітерацію ідей.

Менша ручна робота з моделюванням: SynCity AI автоматизує монотонні частини побудови світу. Розробники не повинні моделювати кожен камінь, будинок чи дерево вручну. Інструмент генерує ці елементи згідно з текстовим описом. Це звільняє художників від великої кількості монотонної роботи та дозволяє їм зосередитися на вдосконаленні вигляду та відчуття. Воно допомагає ліквідувати цю монотонність.

Повышення креативності та експериментів: Через те, що створення сцени з цим інструментом так легко (просто опишіть її текстом), дизайнери ігор можуть експериментувати з дикими ідеями без великих вкладень. Ви можете швидко візуалізувати різні концепції середовищ. Це заохочує спробувати нові теми або стилі. Якщо вам не подобається результат, ви можете налаштувати опис або调整 кілька плиток та отримати нову версію. Швидка віддача від ідеї до 3D світу може надихнути більшої креативності та інновацій у дизайні.

Масштабування для менших команд: Не кожна студія має велику команду 3D-художників. Інструмент такого типу може надати можливість малим незалежним командам розробників ігор або сольним творцям віртуальної реальності створювати розширені світові, які звичайно були б недоступні. Технологія робить багато важкої роботи, так що навіть мала команда може створити багатий 3D-контент. Воно знижує бар’єр для створення багатих 3D-середовищ.

Майбутнє текстових моделей SynCity AI

Цей проєкт – це погляд на те, куди рухається індустрія. Хоча результати ще не вражаючі, як і інші моделі штучного інтелекту, вони, ймовірно, значно покращаться в майбутньому. Ідея “текст в 3D світ” була майже науковою фантастикою не так давно, але тепер вона стає реальністю. Ми бачимо швидкий розвиток інструментів, які можуть взяти простий опис та перетворити його в готовий до гри контент. SynCity AI – один з перших, хто генерує цілі світові таким чином, і він точно не буде останнім. В майбутньому ми можемо очікувати, що технологія тексту в 3D стане ще більш потужною та доступною.

П уявіть собі дизайнера рівня, який просто набирає бачення рівня – “чужий планета з плаваючими островами та фіолетовими лісами”. Тепер уявіть собі штучний інтелект, такий як SynCity, який перетворює цей опис в початковий 3D світ. Коли алгоритми покращаться, ці світові стануть більш деталізованими та відповідними баченню дизайнера. Якість активів покращиться. Співвідношення великих сцен покращиться. Ми можемо навіть побачити ці інструменти інтегровані в ігрові двигуни. Тут розробники можуть вдосконалювати AI-генеровані світові прямо в двигуні, поєднуючи швидкість штучного інтелекту з людською креативністю.

Для дизайнерів віртуальної реальності інструменти, такі як генератор 3D світів SynCity, відкривають можливість генерації світових в режимі реального часу, де досвід може бути навіть персоналізований для кожного користувача за допомогою опису. Технологія розвивається швидко. Генерація контенту з текстових описів може стати стандартним інструментом у творчому процесі для ігор та віртуальної реальності. Ці досягнення свідчать про те, що майбутнє побудови світу може зосередитися менше на ретельному моделюванні. Замість цього воно може нахилитися більше до керування розумними інструментами з інноваційними ідеями.