ディズニーリサーチの新技術は音波を使ったインタラクティブなデバイスコントロールシステム

これまでにも度々お伝えしてきたディズニー·リサーチの新技術ですが。同研究チームからまた、私達を驚かすような素晴らしいシステムが発表されました。今回ディズニー·リサーチが発表したのは、音波の変化によってスマホなどを操作するインタラクティブなデバイスコントロールシステムです。
Acoustrumentsと呼ばれるこの技術は、ディズニー·リサーチとカーネギーメロン大学の研究者等によって開発されたもので、スマホに設置されたチューブやパイプ状のモノなどを通る音波の微妙な変化によってデバイスをコントロールするという仕組みです。

この研究のために用意されたツール類は、Stratasys Objet260 Connexプリンタと、硬質で無色に近い透明マテリアル（VeroClear-RGD810／透明熱可塑性プラスチック）を利用して造形されています。一点毎に微調整が費用なこういった研究素材の製造に、3Dプリント技術が欠かせませんね。

Acoustrumentsの仕組み

スマホのスピーカーから発せられた音（空気振動）はパイプ内を通り、マイクによって電気信号に変換されるわけですが。この際、音が通るパイプを変形させたりして、それに応じて変化した音波をマイクが広い、信号変換します。
つまり、マイクがセンサーのような役割を務めるシステムですね。

スピーカーから発せれらた音はパイプを通り、マイクによって拾われ信号変換される

下図のように、パイプ形状を変化させることで音波も微妙に変化します。その変化をセンサー（マイク側）が受け取り、デバイスを操作するための信号に変換します。仕組みはとても単純な感じがしますが、音波の微妙な変化を生み出すツールの設計や解析する側のアプリの精度設計にはかなりの苦労があったのでは？と感じてしまいますね。
詳細な論文はこちらから確認できます。

音を通す形状によって微妙に変化している波形

 

デバイスコントロールの事例 その1

このシステムを使ったデバイスコントロールの事例が下記の通りです。下のイラストは、iPhoneのスピーカーとマイクをゴムチューブで直結したモノです。このチューブの固定には、上記した3Dプリント造形されたツールが利用されています。

カメラを操作するようなポーズでチューブの上からiPhoneを握ると、アプリ画面上に「Camera」と表示されています。

今度は、iPhone全体を握るように持ち替えると、アプリ上に「Grip」と表示されています。このように、チューブ内を通る音波に微妙な変化を加えるだけでデバイスの操作を認識しています。

そして最後は、手に持ったiPhoneをテーブルに置くと「On Hand」から「On Table」と変化したのが確認できます。こんな僅かな変化もキチンと読み取っているのは、凄い精度ですね。

 

デバイスコントロールの事例 その2

これも分かりやすい事例ですね。iPhoneに装着された3Dプリント造形物（この中には音が通るパイプ状のモノが設置されている）に、花を持たせると、その操作によって変化した音波を感知し、アプリ画面上の表情が変化（目がハートに変化）しています。左下は、花を外して表情をノーマルにした状態です。右下は、お腹を押した動作によってアプリ画面上の表情が変化した様子です。このお腹周りなど、各部位にパイプが設置されているのが分かります。

 

デバイスコントロールの事例 その3

iPhoneに装着された3Dプリントケースには車輪のようなモノが設置されており、その車輪と関連パーツがパイプに直結し、車輪の回転状況に応じてパイプ内の音の流れを変化させています。デモ映像では、その車輪の動きに応じてアプリ内の車が連動しているのを確認することができます。

このように、音を通すツールの形状や素材を変えることで、操作方法を無限に拡張していくことが可能になります。下図のように、設置するツールを変えることで音波も変化し、様々な用途に向けたコントロールデバイスに変化します。現状は研究素材のため、スマホをベースとしたモノですが、この技術は様々な用途への応用が期待できるシステムですね。

様々な用途に向けたコントロールデバイスに変化

このシステムをより分かりやすく解説した映像も公開されています。

資料を参考にザックリとお伝えしましたが、同技術に関して詳しい方がいらっしゃれば、是非ご教示ください。

---

ディズニーリサーチ関連記事

• ディズニーが開発した3Dヘアキャプチャ技術が凄すぎ！
• 複数キャプチャ画像から生成する超リアルな眼球データ
• ディズニーが開発したファブリック3Dプリンタ
• ディズニー関連記事一覧