一枚の顔写真からリアルな3D顔モデルを生成!

低解像度の顔写真からリアルな高解像度の顔3Dモデルを生成可能にする技術

3d-face-models-deep-neural-networks-1

USC ICT(南カリフォルニア大学)とPinscreen(南カリフォルニア大学のHao Li助教授等が開発する顔認識技術)の研究者から成るプロジェクトチームは、低解像度の2D顔写真から高解像度の3Dテクスチャモデルを生成する「Photorealistic Facial Texture Inference Using Deep Neural Networks」に関する研究内容を発表。

3d-face-models-deep-neural-networks-2

従来の技術で高解像度な顔スキャンモデルを生成するには、フォトスキャン(フォトグラメトリ)を用いた高度な技術と機材を用いて生成されるのが一般的ですが、同研究チームが開発するこのシステムでは、低解像度の単一2D写真から、複雑な肌の質感(毛穴など)も正確に再現された高解像度の3Dテクスチャモデルを生成することができる。

3d-face-models-deep-neural-networks-3

このDeep Neural Networksでは、細かい顔のテクスチャを生成するため、オンライン顔データベースから抽出された情報を利用し、3Dモデルに適した顔の特徴や肌のトーンをブレンドすることで、元の画像データには含まれない細かなディテールを再現したフォトリアリスティックな顔のテクスチャモデルを生成。

3d-face-models-deep-neural-networks-4
次期大統領も低解像度写真から高精度な3Dモデル化

3d-face-models-deep-neural-networks-5

このプロセスを実証するため同チームは、多種多様な人種の単純な静止画像から、高精度な顔の3Dモデルを生成している。

3d-face-models-deep-neural-networks-6

研究チームは、この技術をゲーム、エンターテインメント、教育目的などに応用できるとしている。

これだけフラットに近いシェーディングのテクスチャを容易に生成することができるのであれば、リアルタイムキャプチャ技術を使ったVRコンテンツや、簡易的な2D写真(取り込み画像)からゲームキャラクターの顔を差し替えるなど、リアルタイム3Dレンダリングに適した素材も簡単に生成できそうですね。

この研究プロジェクトに関する論文はこちらから確認することができます。


関連記事

 

この記事が気に入ったら
いいね!しよう

最新情報をお届けします

Twitter でid.artsをフォローしよう!

   

3DPS
ページ上部へ戻る