AIで3Dモデルを生成する「MeshGPT」

2023-12-11
最新情報
3DPrinting, 3Dプリンター, 3Dプリンティング, 3Dモデリング, AI, テクノロジー, 人工知能

AI駆動の3Dモデル生成ソフトウェア「MeshGPT」

ドイツの公立大学ミュンヘン工科大学（TUM）と、イタリア最古の国立大学トリノ工科大学（Politecnico di Torino）の研究者等は、ドイツの高級車メーカーであるアウディAGと共同で、ジェネレーティブAIを使用した3Dメッシュ生成ソフトウェア「MeshGPT」を開発した。

「MeshGPT」は、学習した幾何学的語彙からトークンを生成するよう訓練されたトランスフォーマーモデルから自己回帰的にサンプリングし、三角メッシュを生成する。これらのトークンは三角メッシュの面にデコードされ、鮮明なエッジと高い忠実度を特徴とするクリーンで整合性のある、コンパクトなメッシュを生成する。

ベースラインとの比較

「MeshGPT」は、学習された幾何学的語彙からトークンを生成するようにトレーニングされた変換モデルから自己回帰的にサンプリングすることにより、三角形メッシュを作成する。「MeshGPT」は、神経野から等値面法によって抽出された高密度の三角形メッシュとは対照的に、アーティストが作成したメッシュに典型的なコンパクトさを反映する。強力な大規模言語モデルの進歩に触発された研究者たちは、三角形のシーケンスとして三角形メッシュを自己回帰的に生成するシーケンスベースのアプローチを採用した。

語彙学習

「MeshGPT」は最初のステップとして、ローカルメッシュのジオメトリとトポロジーに関する情報を持つ潜在的な量子化された埋め込みの語彙を学習する。これらの埋め込みはシーケンス化され、メッシュを効果的に再構築できるようにするデコーダーによって三角形にデコードされる。次に、この学習した語彙に基づいてトランスフォーマーを訓練し、前の埋め込みを与えられた次の埋め込みのインデックスを予測。一連の訓練が完了すると、私たちのモデルは自己回帰的にサンプリングして新しい三角メッシュを生成することができ、人間が作成したメッシュの効率的な三角形パターンをより密接に模倣する鋭いエッジを持つコンパクトなメッシュを直接生成する。量子化埋め込みは、自然言語処理（NLP）や機械学習で使われる技法で、単語の埋め込みや連続値のベクトルを、量子化された離散的な形式で表現し保存することを指す。

MeshGPTは、既存の手法と比較して形状のカバー率が9％向上し、FIDスコア（生成モデルによって作成された画像の品質を評価するために使用される指標）が30ポイント向上するという驚くべき結果を示した。既存のアプローチでは、詳細が欠落していたり、過度に三角形化されたメッシュが生成されたり、過度に単純化された形状が生成されたりすることがよくあるが、 MeshGPT法は、シーンの3Dアセットを生成する際にも使用できる。

3DP id.arts の最新投稿をお届けする「Newsletter 3DP id.arts」への登録はこちら