3D Asset Generation

3DCGモデルの生成に特化した機械学習モデルについて説明しています。特に、TripoSGとMV-Painterという2つのモデルを紹介し、これらを使用して高品質な3D形状とテクスチャを生成する方法を解説しています。

ゲームやアニメーションにおいて3DCGの技術は欠かせないものとなり、近年では3DCGモデルを機械学習モデルで生成する動きが活発となっております。今回はそのようなモデル群の中で形状とテクスチャの生成に重きを置いたモデル２つをご紹介いたします。

3D Assetとは

3DCGで活用される素材データのことを指します。具体的な構成要素として以下のものがあげられます。

3Dモデル（形状）
テクスチャ（物体表面に貼り付ける画像）
アニメーション
音声

今回ご紹介する機械学習モデルは3Dモデルとテクスチャの生成に特化したものであるため、今回はこれらを3D Assetと定義づけます。

Image-to-3Dについて

3D Assetを生成する手法はいくつかあり、テキストのプロンプトから生成するものもありますが、今回はより製作者の意図を伝えやすい画像による生成手法であるImage-to-3Dについて紹介いたします。
Image-to-3Dとは、生成AIにより1枚の画像から奥行き、形状、テクスチャを復元し、3Dモデルとして生成する技術です。代表的なものとして、2024年末にMicrosoftが発表したTRELLISが有名です。
今回では定性的に高品質な3D形状を生成するTripoSGと画像の再現度が高いテクスチャを生成できるMV-Painterについて紹介いたします。

TripoSG

TripoSGはVAST AIが発表した画像から3D形状を生成する最新のモデルになります。特徴としては高速な学習・推論と表面ディテールの高さと滑らかさです。これにより定性的に高品質な形状を生成することが可能です。

MV-Painter

MV-Painterは画像と3D形状を入力としてテクスチャを生成し、貼り付けて3D Assetを生成するモデルになります。Stable Diffusionを発展させたモデルを使用し、１枚の画像から見えないところを推論した複数視点の画像を生成、それらを基に形状に合うようなテクスチャ画像を構成します。

TripoSGで作成した3D形状からMV-Painterでテクスチャを生成することにより、1枚の画像から高品質な3D Assetを生成することが可能になります。

使用方法について

環境要件

２つのモデルで推論するためにはGPUが必要であり、それぞれの推奨VRAM容量は以下の通りです。

TripoSG: 8GB以上
MV-Painter: 40GB以上

TripoSGは比較的VRAM容量が少なく試しやすいものですが、MV-PainterはA100以上のGPUが必要になります。

使用方法

まず、3D形状を生成します。
{TripoSGのパス}/assetsの下に画像を置き、以下のコマンドを実行します。

cd {TripoSGのパス}
python -m scripts.inference_triposg --image-input assets/{置いた画像ファイルのパス} --output-path {出力先ディレクトリ}

次にテクスチャを生成します。
TripoSGで生成された3D形状を{MV-Painterのパス}/data/test/glbsの下に置き、画像を{MV-Painterのパス}/data/test/imgsに置きます。
その後、下記のコマンドを実行します。

cd {MV-Painterのパス}
python infer_multiview.py --input_glb_dir ./data/test/glbs --input_img_dir ./data/test/imgs --output_dir ./outputs/test --geo_rotation -90
python infer_paint.py --mv_res_dir ./outputs/test/mvpainter --output_dir ./results/test/mvpainter

{MV-Painter}/results/test/mvpainterにテクスチャ貼り付け済みの3D Assetが完成します。