SynCity AI генерирует 3D игровые миры из простого текста

Что если бы вы могли построить целый 3D мир просто набирая текстовое описание? SynCity – это новый инструмент ИИ, который стремится сделать это возможным. Это система без предварительной подготовки, которая генерирует 3D миры из простых текстовых подсказок. То есть SynCity – это генератор 3D миров из текста, который не требует предварительной подготовки перед использованием. Он помогает творческим людям строить виртуальные среды более эффективно и с меньшими усилиями. Для разработчиков игр и дизайнеров VR это означает создание захватывающих сцен без необходимости делать все вручную.

Что такое SynCity?

SynCity по сути является генератором 3D миров из текста, работающим на основе искусственного интеллекта. В отличие от некоторых ранних инструментов, которые могли генерировать только отдельные 3D объекты, он может создавать целую сцену или городской пейзаж за один раз. И вот что самое интересное: для этого не требуется дополнительная подготовка на новых данных. Генератор 3D миров SynCity использует предварительно обученные модели (которые уже знают, как создавать изображения и 3D формы) и умело объединяет их. Результатом является сложный, связный 3D мир, сгенерированный из простой текстовой подсказки, с последовательным стилем и деталями на протяжении всей сцены. И да, эти сгенерированные миры не являются статичными снимками – вы можете фактически перемещать виртуальную камеру и исследовать их свободно как настоящие 3D пространства.

Как работает SynCity AI?

SynCity AI использует многоступенчатый процесс для генерации полного 3D мира. Он не генерирует весь мир за один раз. Вместо этого он строит сцену поэтапно, или плитка за плиткой, обеспечивая, чтобы каждая часть подходила друг к другу. Этот метод дает много контроля над планировкой и деталями мира.

Он использует плиточный подход для построения миров. Каждая плитка сначала генерируется как изображение (2D подсказка), затем преобразуется в 3D модель (3D подсказка), и, наконец, объединяется с соседними плитками в полный мир (3D смешивание). Изображение выше иллюстрирует этот процесс: начиная от текстовой подсказки до 2D плитки, затем до 3D плитки и шитье ее бесшовно в более крупную 3D сцену.

Разберем это шаг за шагом, вот как это работает:

2D подсказка (генерация изображения плитки): Он начинается с создания 2D изображения для части мира (плитки). Он использует предварительно обученную модель генерации изображений под названием Flux. Система принимает текстовую подсказку и любые существующие соседние плитки в качестве контекста. Используя Flux с подходом inpainting, он заполняет новую плитку так, чтобы она соответствовала описанию и выравниванию с соседними областями. Простыми словами, он рисует небольшую часть мира, обеспечивая, чтобы края соединялись хорошо с тем, что уже есть.

3D преобразование (изображение в 3D плитку): Далее он преобразует это 2D изображение плитки в фактическую 3D модель. Он использует инструмент под названием TRELLIS для этой стадии. TRELLIS – это предварительно обученный генератор изображения в 3D. По сути, он берет 2D картинку и придает ей глубину и объем, производя 3D плитку. Перед преобразованием он может скорректировать плитку (например, извлекая передний план и добавляя основу), чтобы TRELLIS мог создать солидную 3D часть мира. После этого шага у нас есть плитка, которая не является просто плоским изображением, а куском 3D местности или архитектуры, вокруг которой можно пройти.

Смешивание и шитье (объединение плиток): Теперь новая 3D плитка должна быть размещена в существующем мире. Система “шивает” новую плитку с ее соседями так, чтобы не было видимых швов. Он делает это, отображая границы, где новая плитка встречается с другими, и затем используя модель inpainting изображения для смешивания. Другими словами, он заполняет любые пробелы или несоответствия на краях, чтобы переход выглядел гладко в 2D. Затем он подает этот смешанный результат обратно в 3D генератор (TRELLIS), чтобы уточнить фактическую 3D геометрию на шве. Это обеспечивает, чтобы физические 3D части соединялись бесшовно без трещин или странных бугров. Наконец, новая 3D плитка добавляется в мир, полностью интегрированная как часть непрерывной 3D местности.

Система повторяет этот процесс плитка за плиткой. Каждая генерация плитки учитывает контекст всей сцены, поэтому вы можете продолжать расширять мир. Результатом является связный 3D мир, построенный поэтапно, почти как квилт. Но он выглядит как один большой мир, когда вы исследуете его. Этот подход позволяет SynCity генерировать очень крупные сцены, которые все еще связны и детализированы.

Преимущества генераторов 3D миров, таких как SynCity, для разработчиков видеоигр и дизайнеров VR

Использование SynCity может предложить несколько преимуществ для разработчиков игр и дизайнеров VR:

Значительная экономия времени: Построение детального игрового уровня или среды VR с нуля может занять у команды недели или месяцы. С помощью генератора 3D миров SynCity большая часть этого можно сделать за долю времени. ИИ берет на себя тяжелую работу по созданию контента. Это означает более быструю разработку игровых миров и более быструю итерацию идей.

Меньшая ручная работа по моделированию: SynCity AI автоматизирует скучные части построения мира. Разработчикам не нужно моделировать каждый камень, дом или дерево вручную. Инструмент генерирует эти элементы в соответствии с текстовым описанием. Это освобождает художников от большого количества однообразной работы и позволяет им сосредоточиться на усовершенствовании внешнего вида и ощущения. Это помогает исключить эту рутину.

Усиление творчества и экспериментов: Поскольку с помощью этого инструмента так легко создать сцену (просто опишите ее текстом), дизайнеры игр могут экспериментировать с дикими идеями без значительных инвестиций. Вы можете быстро визуализировать разные концепции окружения. Это поощряет попытки новых тем или стилей. Если вам не нравится результат, вы можете скорректировать подсказку или отрегулировать несколько плиток и получить новую версию. Быстрый оборот от идеи к 3D миру может вдохновить больше творчества и инноваций в дизайне.

Масштабирование для небольших команд: Не каждая студия имеет большую команду 3D художников. Инструмент такого типа может дать возможность небольшим независимым командам игр или одиночным создателям VR производить обширные миры, которые обычно были бы недоступны. Технология берет на себя большую часть тяжелой работы, поэтому даже небольшая команда может превосходить ожидания в создании контента. Это снижает барьер для входа в создание богатых 3D сред.

Будущее текстовых моделей SynCity AI

Этот проект дает нам представление о том, куда движется отрасль. Хотя выходные данные еще не впечатляют, как и в случае с другими моделями ИИ, они, вероятно, значительно улучшатся в будущем. Идея “текст в 3D мир” была почти научной фантастикой не так давно, но теперь она становится реальностью. Мы наблюдаем быстрый рост инструментов, которые могут взять простое описание и превратить его в готовый контент для игр. SynCity AI – один из первых, кто генерирует целые миры таким образом, и он chắc chắn не будет последним. В будущем мы можем ожидать, что технология текста в 3D станет еще более мощной и доступной.

Представьте себе дизайнера уровня, который просто набирает свое видение уровня – “инопланетная планета с плавающими островами и фиолетовыми лесами”. Теперь представьте, что ИИ, такой как SynCity, превращает это описание в стартовый 3D мир. По мере улучшения алгоритмов эти миры становятся более детализированными и верными видению дизайнера. Качество активов улучшается. Связность крупных сцен улучшается. Мы можем даже увидеть интеграцию этих инструментов в игровые движки. Здесь разработчики могут усовершенствовать миры, сгенерированные ИИ, прямо в движке, объединяя скорость ИИ с человеческим творчеством.

Для дизайнеров VR инструменты, такие как генератор 3D миров SynCity, открывают возможность генерации миров на лету, где опыт может быть даже персонализирован для каждого пользователя по описанию. Технология развивается быстро. Генерация контента из текстовых описаний может стать стандартным инструментом в творческом процессе для игр и VR. Эти достижения предполагают, что будущее построения миров может сосредоточиться меньше на тщательном моделировании. Вместо этого оно может больше полагаться на руководство умными инструментами с инновационными идеями.