NVIDIA AI、2Dビデオを3Dモデルに変換

2023-6-15
最新情報
3DPrinting, 3Dプリンター, 3Dプリンティング, 3Dモデリング, AI, Nvidia, テクノロジー, 人工知能

NVIDIA開発のAI「Neuralangelo」が2Dビデオから3Dモデルを生成、3Dプリントへの応用も近い？

米国のGPU製造大手 NVIDIA は、2Dのビデオクリップを高精度な3Dモデルに変換することが可能な新しい人工知能（AI）モデル「Neuralangelo」を紹介する研究論文を発表。

これまでの生成型AIモデルでは、反復的なテクスチャパターン、均一な色、強い色の変化など、オブジェクトの細部を捉えるのが難しかったとされているが、NVIDIAが新たに開発したAI技術「Neuralangelo」は、これらの問題を克服。2Dビデオから複雑な素材のテクスチャを正確に翻訳し、高品質なモデルを提供する。

2Dビデオから3Dモデルへ再構築

NVIDIAはこの研究について、スマートフォンで撮影した映像を使って短時間で簡単にバーチャルオブジェクトを作成できるという点を強調。また、アート、仮想現実、ビデオゲーム開発、ロボット工学、産業用デジタルツインの製造など、Neuralangeloの可能性ある応用例を挙げている。すでに同社は、新しいAI技術の幅広い機能をデモンストレーションし、ミケランジェロのダビデ像やフラットベッドトラックを再現。さらに、大規模な環境を再構築することも可能であり、ドローンで撮影した上空からの映像を使用して、バイエリアキャンパスの公園の3Dモデルを成功裏に作成している。

Neuralangeloと3Dプリントへの可能性

この新しいAIツールは、現時点では3Dプリントへの応用と結びついておらず、Neuralangeloによって生成された3Dモデルは3Dプリントできない。しかし、NVIDIAのスポークスマンは「3Dプリントへの応用は将来的に実現可能な方向性である」と語っており、Neuralangeloを3Dプリンティングに統合する可能性は容易に想像できる。それが将来的にAIが生成したメッシュを印刷可能なファイルとしてエクスポートするようになるか、あるいはデジタルツインの一部として提供されるか、現時点では不明である。

Neuralangeloを使用して3Dモデルに変換されたNVIDIA HQ Park

Neuralangeloの高品質ビデオ変換の仕組み

Neuralangeloは、インスタントニューラルグラフィックスプリミティブ（NGP）と信号距離関数（SDF）を組み合わせて高品質のビデオ変換を実現。NGPは、マルチレゾリューションハッシュエンコーディングを備えたハイブリッドな3Dグリッド構造を提供。このハイブリッド表現は、ニューラルフィールドの表現力を大幅に向上させ、より微細な詳細を捉えることができる。
具体的には、Neuralangeloはオブジェクトや環境の2Dビデオを撮影し、異なる視点を強調するいくつかのフレームを選択。各フレームのカメラ位置が決定されると、AIが大まかな3Dモデルを作成。この大まかなレンダリングは最適化され、詳細が鮮明になり、高い表面品質と精度を持つ完成品が生み出されるという。

研究者たちは、このアプローチにおける2つの要素が重要であると強調。まず、高次導関数を計算するための数値勾配を使用すること。これは最適化プロセスの安定化にとって重要だとされている。二つ目に、詳細なレベルの構造を回復するための逐次的な最適化スケジュールが必要不可欠であり、これにより包括的かつ正確な3Dモデルの再構築が可能になる。

この研究成果は、6月18日から22日までバンクーバーで開催されるコンピュータビジョンとパターン認識（CVPR／Conference on Computer Vision and Pattern Recognition）カンファレンスにおいて、姿勢推定、3D再構築、ビデオ生成など、様々なトピックを取り上げる約30の他プロジェクトと共に発表される予定となっている。

3DP id.arts の最新投稿をお届けする「Newsletter 3DP id.arts」への登録はこちら