研究者はラフな2Dスケッチから3Dサーフェスモデルを生成するアルゴリズムを開発

香港大学、 Microsoft Research Asia、ブリティッシュコロンビア大学の研究者等から構成された研究チームは、CNN（convolution neural network／畳み込みニューラルネットワーク）を用いて、フリーハンドスケッチから3Dサーフェスをモデリングする手法を開発し、SIGGRAPH Asia 2018で発表した。

このシステムでは、サーフェスを表す法線マップと深さを推測するためにCNNを使用し、2Dドローイングで描かれた線描からDFNetを用いて表面の曲率方向や流れを特徴付け、GeomNetを用いて深度マップおよび法線マップとして表される表面パッチを生成。背面図に当たるスケッチは、正面図から輪郭の深さをコピーし、表面と同じ2段階のCNNを経てバックパッチを生成する。
こうして生成された2つの表面パッチは最終的に結合され、完全な3D形状へ融合される。

CNNを使用したモデリングプロセスには、シングルビューとマルチビューの両方のスケッチを処理することが可能で、マルチビューフレームワークを使用すると、様々な視点からスケッチを描くことが可能で、ユーザーは任意でポイントの深さ値を指定し、ストロークに応じて曲率のヒントを指定することができ、リアルタイムで完全に閉じた3Dモデルを徐々に完成させることができる。