Искусственный интеллект SynCity создает трехмерные игровые миры из простого текста

Что, если бы вы могли построить целый 3D мир просто набрав текстовое описание? SynCity — это новый инструмент искусственного интеллекта, который призван сделать это возможным. Это система без обучения, которая генерирует 3D-миры из простых текстовых подсказок. То есть, SynCity — это генератор текстовых 3D-миров, которому не требуется никакого предварительного обучения перед использованием. Он помогает творческим людям создавать виртуальные среды более эффективно и с меньшими усилиями. Как разработчик игр и VR-дизайнеры, это позволяет создавать захватывающие сцены, не делая все вручную.

Что такое SynCity?

SynCity по сути, это генератор текстового 3D-мира, работающий на искусственном интеллекте. В отличие от некоторых более ранних инструментов, которые могли генерировать только отдельные 3D-объекты, он может создать целую сцену или городской пейзаж за один раз. И вот в чем фишка: для этого ему не нужно дополнительное обучение на новых данных. Генератор SynCity 3D использует предварительно обученные модели (те, которые уже знают, как создавать изображения и 3D-фигуры) и умело их комбинирует. Результатом является сложный, связный 3D-мир, сгенерированный из простого текстового запроса, с единым стилем и деталями по всей сцене. И да, эти сгенерированные миры не являются статическими снимками – вы можете свободно перемещать виртуальную камеру и исследовать их как настоящие трехмерные пространства.

Как работает искусственный интеллект SynCity?

SynCity AI использует многоступенчатый конвейер для генерации полного 3D-мира. Он не генерирует весь мир за один раз. Вместо этого он строит сцену по частям или плитку за плиткой, гарантируя, что каждая часть подходит друг другу. Этот метод дает большой контроль над макетом и деталями мира.

Он использует подход на основе плитки для создания миров. Каждая плитка сначала генерируется как изображение (2D-подсказка), затем превращается в 3D-модель (3D-подсказка) и, наконец, смешивается с соседними плитками в полный мир (3D-смешивание). Изображение выше иллюстрирует этот конвейер: начиная с текстовой подсказки до 2D-плитки, затем до 3D-плитки и бесшовно сшивая ее в большую 3D-сцену.

Вот как это работает пошагово:

2D-подсказки (создание фрагмента изображения): Он начинается с создания 2D-изображения для части мира («плитки»). Он использует предварительно обученную модель генерации изображений под названием Flux. Система берет текстовую подсказку и любые существующие соседние плитки в качестве контекста. Используя Flux с подходом inpainting, он заполняет новую плитку так, чтобы она соответствовала описанию и выстраивалась в линию с соседними областями. Проще говоря, он рисует небольшой кусочек мира, гарантируя, что края будут хорошо соединяться с тем, что уже есть.

3D-конвертация (изображение в 3D-плитку): Затем он преобразует это 2D-изображение плитки в фактическую 3D-модель. На этом этапе он использует инструмент TRELLIS. TRELLIS — это предварительно обученный генератор изображений в 3D. По сути, он берет 2D-изображение и придает ему глубину и объем, создавая 3D-плитку. Перед преобразованием он может настроить плитку (например, извлечь передний план и добавить базу), чтобы TRELLIS мог создать сплошной 3D-фрагмент мира. После этого шага у нас есть плитка, которая является не просто плоским изображением, а частью 3D-ландшафта или архитектуры, по которой можно ходить.

Смешивание и сшивание (объединение плиток): Теперь новый 3D-плитка должен быть помещен в существующий мир. Система «сшивает» новый тайл с его соседями, чтобы не было видимых швов. Она делает это, визуализируя границы, где новый тайл встречается с другими, а затем используя модель закрашивания изображения, чтобы смешать их. Другими словами, она заполняет любые пробелы или несоответствия на краях, поэтому переход выглядит плавным в 2D. Затем она подает этот смешанный результат обратно в 3D-генератор (TRELLIS) для уточнения фактической 3D-геометрии на шве. Это гарантирует, что физические 3D-части соединяются бесшовно, без трещин или странных неровностей. Наконец, новый 3D-тайл добавляется в мир, полностью интегрированный как часть непрерывного 3D-ландшафта.

Система повторяет этот процесс плитка за плиткой. Каждое поколение плитки учитывает контекст общей сцены, поэтому вы можете продолжать расширять мир. Результатом является целостная 3D-среда, построенная по частям, почти как лоскутное одеяло. Но она выглядит как единый большой мир, когда вы его исследуете. Такой подход позволяет SynCity генерировать очень большие сцены, которые по-прежнему являются связными и подробными.

Преимущества генераторов 3D-миров, таких как SynCity, для разработчиков видеоигр и дизайнеров виртуальной реальности

Использование SynCity может дать разработчикам игр и дизайнерам виртуальной реальности ряд преимуществ:

Значительная экономия времени: Создание детального игрового уровня или среды виртуальной реальности с нуля может занять у команды недели или месяцы. С генератором SynCity 3D большую часть этого можно сделать за малую часть времени. ИИ выполняет тяжелую работу по созданию контента. Это означает более быстрое прототипирование игровых миров и более быструю итерацию идей.

Меньше ручного моделирования: SynCity AI автоматизирует рутинные части создания мира. Разработчикам не нужно вручную моделировать каждый камень, дом или дерево. Инструмент генерирует эти элементы в соответствии с текстовым описанием. Это освобождает художников от большого количества утомительной работы и позволяет им сосредоточиться на улучшении внешнего вида и ощущений. Это помогает устранить эту рутину.

Повышение креативности и экспериментирования: Поскольку создать сцену с помощью этого инструмента очень просто (просто опишите ее в тексте), игровые дизайнеры могут экспериментировать с дикими идеями без огромных вложений. Вы можете быстро визуализировать различные концепции окружения. Это поощряет пробовать новые темы или стили. Если вам не нравится результат, вы можете подправить подсказку или изменить несколько плиток и получить новую версию. Быстрый переход от идеи к 3D-миру может вдохновить на большее творчество и инновации в дизайне.

Масштабирование для небольших команд: Не в каждой студии есть большая команда 3D-художников. Такой инструмент может дать возможность небольшим командам инди-игр или создателям VR-игр в одиночку создавать обширные миры, которые обычно были бы вне досягаемости. Технология выполняет большую часть тяжелой работы, поэтому даже небольшая команда может превзойти себя в создании контента. Он снижает барьер для входа в создание насыщенных 3D-сред.

Будущее моделей преобразования текста в 3D с помощью SynCity AI

Этот проект — проблеск того, куда движется отрасль. Хотя результаты пока не впечатляют, как и в случае с другими моделями ИИ, они, вероятно, значительно улучшатся в будущем. Идея генерации «текста в 3D-мир» не так давно была почти научной фантастикой, но теперь она становится реальностью. Мы видим быстрый рост инструментов, которые могут взять простое описание и превратить его в готовый к игре контент. SynCity AI — один из первых, кто генерирует целые миры таким образом, и он, безусловно, не последний. В будущем мы можем ожидать, что технология преобразования текста в 3D станет еще более мощной и доступной.

Представьте себе дизайнера уровней, который просто набирает описание уровня: «чужая планета с парящими островами и фиолетовыми лесами». А теперь представьте, что искусственный интеллект вроде SynCity превращает это описание в трёхмерный мир. По мере совершенствования алгоритмов эти миры становятся более детализированными и соответствующими замыслу дизайнера. Качество ресурсов повышается. Увеличивается связность больших сцен. Возможно, мы даже увидим интеграцию этих инструментов в игровые движки. Здесь разработчики могут дорабатывать Миры, созданные ИИ прямо в движке, объединяющем скорость ИИ с человеческим творчеством.

Для дизайнеров VR такие инструменты, как генератор SynCity 3D, открывают возможность генерации мира на лету, где опыт может быть даже персонализирован для каждого пользователя с помощью описания. Технология быстро развивается. Генерация контента из текстовых описаний может стать стандартным инструментом в творческом процессе для игр и VR. Эти достижения предполагают, что будущее построения мира может быть в меньшей степени сосредоточено на тщательном моделировании. Вместо этого оно может больше склоняться к руководству интеллектуальными инструментами с инновационными идеями.