SynCity AIはテキストから3Dゲームワールドを生成する

もしも、テキストの説明だけで全ての3Dワールドを作成できるとしたらどうでしょうか。SynCityは、このことを可能にするために開発された新しいAIツールです。これは、事前トレーニング不要のシステムで、シンプルなテキストプロンプトから3Dワールドを生成します。つまり、SynCityは、事前トレーニング不要のテキストから3Dワールドを生成するツールです。クリエイティブな人々が、より効果的に仮想環境を作成し、労力を減らすことを支援しています。ゲーム開発者やVRデザイナーとして、これは、手作業で全てを作成することなく、スリリングなシーンを作成することを意味します。

What is SynCity?

SynCityは、基本的に、人工知能によって動作するテキストから3Dワールドを生成するツールです。以前のツールが単一の3Dオブジェクトしか生成できなかったのとは異なり、シーンや都市景観全体を一気に生成できます。而且、そのために新しいデータでトレーニングする必要はありません。SynCityの3Dジェネレーターは、事前にトレーニングされたモデル（画像や3D形状を作成することができるもの）を利用し、それらを巧みに組み合わせます。結果は、シンプルなテキストプロンプトから生成された、複雑で一貫性のある3Dワールドで、全体のシーンにわたって一貫したスタイルと詳細が含まれています。而且、これらの生成されたワールドは静的なスナップショットではありません。強調しておくと、あなたは実際に仮想カメラを動かして、それらを自由に探索することができます。。

How SynCity AI Works?

SynCity AIは、完了した3Dワールドを生成するために、マルチステップのパイプラインを使用します。全てのワールドを一気に生成しません。代わりに、シーンをタイルごとに、またはタイルごとに構築し、各部分が互いに合うようにします。この方法により、ワールドのレイアウトと詳細に対して多くの制御が可能になります。

タイルベースのアプローチを使用してワールドを構築します。各タイルは、最初に画像（2Dプロンプティング）として生成され、次に3Dモデル（3Dプロンプティング）に変換され、最後に隣接するタイルとともに全ワールドに統合されます（3Dブレンド）。上の画像は、このパイプラインを示しています。テキストプロンプトから2Dタイル、次に3Dタイル、そしてシームレスに大きな3Dシーンに統合するまでです。

詳しく説明すると、以下のようになります。

2Dプロンプティング（画像タイルの生成）：シーンのセクション（「タイル」）の2D画像を作成することから始めます。事前にトレーニングされた画像生成モデルであるFluxを使用します。システムはテキストプロンプトと既存の隣接タイルをコンテキストとして使用します。インペインティングアプローチを使用してFluxを使用し、新しいタイルを生成し、既存の領域と一致するようにします。簡単に言うと、小さな部分のワールドを描くことです。既存のものと接続するためのエッジを整えることです。

3D変換（画像から3Dタイル）：次に、その2Dタイル画像を実際の3Dモデルに変換します。TRELLISというツールを使用します。TRELLISは事前にトレーニングされた画像から3Dジェネレーターです。基本的に、2D画像に深さと体積を与え、3Dタイルを生成します。変換の前に、タイルを調整する場合があります（例：前景を抽出してベースを追加する）。TRELLISが3Dワールドの固体のチャンクを作成できるようにします。 このステップの後、単なる画像ではなく、歩いて回ることができる3Dテレーンまたは建築物の部分を持つタイルがあります。

ブレンドとステッチ（タイルの統合）：新しい3Dタイルを既存のワールドに配置する必要があります。システムは新しいタイルを隣接するタイルと「ステッチ」して、目に見えるシームをなくします。新しいタイルが既存のタイルと出会う境界をレンダリングし、画像インペインティングモデルを使用してそれらをブレンドします。つまり、エッジのギャップや不一致を埋め、2Dでスムーズな移行を見せます。次に、ブレンドされた結果を3Dジェネレーター（TRELLIS）に戻して、シームの3D幾何学を改良します。物理的な3Dピースがシームレスに接続されるようにします。最後に、新しい3Dタイルをワールドに追加し、連続した3D景観の一部として完全に統合されます。

システムはこのプロセスを繰り返します。各タイルの生成は、全体のシーンのコンテキストを考慮します。ワールドを拡大し続けることができます。結果は、タイルごとに構築された、まとまりのある3D環境です。まるでキルトのように見えます。しかし、探索すると、大きな単一のワールドのように見えます。このアプローチにより、SynCityは非常に大きなシーンを生成できますが、それでも一貫性と詳細が保たれています。

ビデオゲーム開発者とVRデザイナーにとってのSynCityのような3Dワールドジェネレーターの利点

SynCityを使用することで、ゲーム開発者とVRデザイナーにいくつかの利点が提供されます。

時間の劇的な節約：詳細なゲームレベルまたはVR環境をスクラッチから作成するには、チームに数週間または数ヶ月かかる場合があります。SynCityの3Dジェネレーターを使用すると、これらの作業の多くを短時間で実行できます。AIがコンテンツ作成の重労働を処理します。これにより、ゲームワールドのプロトタイピングが速くなり、アイデアの反復が速くなります。

手作業モデリングの削減：SynCity AIはワールドビルの面白くない部分を自動化します。開発者は手作業で岩、家、木などをモデル化する必要はありません。ツールはテキストの説明に基づいてこれらの要素を生成します。これにより、アーティストは退屈な作業から解放され、外観と感触を磨くことに集中できます。退屈な作業を減らすのを助けます。

創造性と実験の向上：このツールを使用すると、シーンを作成するのが非常に簡単になるため（ただテキストで説明するだけ）、ゲームデザイナーは大きな投資をすることなく、狂気的なアイデアを試すことができます。さまざまな環境コンセプトを迅速に視覚化できます。これにより、新しいテーマやスタイルを試すことができます。結果が気に入らない場合は、プロンプトを調整したり、数個のタイルを調整したりして、新しいバージョンを取得できます。アイデアから3Dワールドまでの迅速なターンアラウンドは、デザインにさらに多くの創造性と革新をもたらす可能性があります。

小規模チームの拡大：すべてのスタジオが大規模な3Dアーティストチームを持っているわけではありません。このようなツールは、小規模なインディーゲームチームや単独のVRクリエイターが、通常は手の届かない広大なワールドを生成できるようにすることで、力を与えることができます。テクノロジーが重労働の大部分を処理するため、小規模なチームでもコンテンツ作成で大きな成果を上げることができます。豊かな3D環境を作成するための障壁を低減します。

SynCity AIのテキストから3Dモデルの将来

このプロジェクトは、業界が向かっている方向性を示唆しています。出力はまだ印象的ではないかもしれませんが、他のAIモデルと同様に、将来的には大幅に改善される可能性があります。テキストから3Dワールドを生成するというアイデアは、近い将来にはほとんどサイエンスフィクションのように聞こえましたが、現在は現実になっています。テキストの説明からゲームレディなコンテンツを生成するツールの急速な成長を目にしています。SynCity AIは、この方法で全ワールドを生成する最初のツールの1つであり、最後のものではありません。将来的には、テキストから3Dへのテクノロジーがさらに強力でアクセスしやすくなると予想されます。

レベルデザイナーがレベルのビジョンをただタイプすることを想像してみてください。例えば、「浮遊する島と紫色の森がある異星人惑星」。そして、SynCityのようなAIがその説明を開始する3Dワールドに変換することを想像してください。アルゴリズムが改善されると、これらのワールドはデザイナーのビジョンに忠実で、詳細で、真実性のあるものになります。アセットの品質が向上します。大きなシーンの整合性が高まります。ゲームエンジンにこれらのツールが統合されるのを見るかもしれません。そこでは、開発者がAI生成されたワールドをエンジン内で直接改良できます。AIのスピードと人間の創造性を融合させます。

VRデザイナーにとって、SynCityのような3Dジェネレーターは、ユーザーごとに説明によってパーソナライズされたワールドを生成する可能性を提供します。テクノロジーは急速に進化しています。テキストの説明からコンテンツを生成することは、ゲームとVRの創造プロセスにおける標準的なツールになるかもしれません。これらの進歩は、ワールドビルの将来は、慎重なモデリングよりも、革新的なアイデアで知的ツールを導くことに重点を置く可能性があることを示唆しています。