低解像度の顔写真からリアルな高解像度の顔3Dモデルを生成可能にする技術

USC ICT（南カリフォルニア大学）とPinscreen（南カリフォルニア大学のHao Li助教授等が開発する顔認識技術）の研究者から成るプロジェクトチームは、低解像度の2D顔写真から高解像度の3Dテクスチャモデルを生成する「Photorealistic Facial Texture Inference Using Deep Neural Networks」に関する研究内容を発表。

従来の技術で高解像度な顔スキャンモデルを生成するには、フォトスキャン（フォトグラメトリ）を用いた高度な技術と機材を用いて生成されるのが一般的ですが、同研究チームが開発するこのシステムでは、低解像度の単一2D写真から、複雑な肌の質感（毛穴など）も正確に再現された高解像度の3Dテクスチャモデルを生成することができる。

このDeep Neural Networksでは、細かい顔のテクスチャを生成するため、オンライン顔データベースから抽出された情報を利用し、3Dモデルに適した顔の特徴や肌のトーンをブレンドすることで、元の画像データには含まれない細かなディテールを再現したフォトリアリスティックな顔のテクスチャモデルを生成。

次期大統領も低解像度写真から高精度な3Dモデル化

このプロセスを実証するため同チームは、多種多様な人種の単純な静止画像から、高精度な顔の3Dモデルを生成している。

研究チームは、この技術をゲーム、エンターテインメント、教育目的などに応用できるとしている。

これだけフラットに近いシェーディングのテクスチャを容易に生成することができるのであれば、リアルタイムキャプチャ技術を使ったVRコンテンツや、簡易的な2D写真（取り込み画像）からゲームキャラクターの顔を差し替えるなど、リアルタイム3Dレンダリングに適した素材も簡単に生成できそうですね。

この研究プロジェクトに関する論文はこちらから確認することができます。

---

関連記事

• ハイエンド3Dスキャンスタジオが天王洲にオープン
• ワコムは3Dモデル作成ソフト付属のペンタブレットを発表
• 大学発ベンチャーから誕生した高速3Dスキャンサービス
• SkinterfaceがリモートSEXへの扉を開く
• ドローンと3Dプリンタ出力を組合わせた新サービス登場
• 写真やスキャン素材から3Dデータ化するRemake正式リリース
• わずか10秒で撮影可能な人物用3Dスキャナ「PASHAZO」
• 3Dプリントアート映像の製作舞台裏を公開
• 多枚数写真からの立体造形「3Dプリント編」
• 超初心者向けZBrush入門書出版のお知らせ