「書類はもう取り込んでいる」――指先一つで電子化できる、富士通研の次世代UI：研究開発

富士通研究所は、汎用のカメラを用いて、実世界のモノに対する手指の位置やタッチなどの操作を高精度・高速に検出できる次世代ユーザーインタフェース技術を開発した。

[八木沢篤，MONOist]

　富士通研究所は2013年4月3日、指で直観的に操作が可能な次世代ユーザーインタフェース（以下、UI）技術を開発したと発表した。

　高価な装置を必要とせず、汎用のカメラを用いて、実世界のモノに対する手指の位置やタッチなどの操作を高精度・高速に検出できるのが特徴。同技術とプロジェクターを組み合わせることで、例えば、テーブルの上に置かれた書類を指でなぞって必要な箇所を電子データとして取り込んだり、取り込んだデータをテーブルに表示して拡大・縮小などの操作を行ったりできる。さらに、手書きの付せんをテーブルに張り付けて画像データとして読み取り、画像化された電子付せんを指で移動させたり、グルーピングしたりするなどの操作が行える。

次世代ユーザーインタフェース技術を活用した試作システム。2014年度中の実用化を目指し、システムおよびアプリケーションの評価を進めていくという。

簡単スクラップ機能

ブレスト支援機能

　今回の次世代UIを実現するに当たり、富士通研究所は、次の3つの技術を開発した。

　1つは、実世界（テーブル）の凹凸形状をカメラで自動計測し、カメラ座標系、プロジェクター座標系、実世界座標系を自動調整する「実空間とICT空間の座標認識・変換技術」である。これにより、指の動きやモノへのタッチとプロジェクション表示を正確に合わせることができる。

実空間とICT空間の座標認識・変換技術

　さらに「手指認識の安定化技術」を開発した。手指の色と輪郭の特徴を抽出して、手指の形状を認識。周囲の環境光に応じたカメラ画像の色や明るさを制御し、手指の色の個人差を補正することで、設置環境や個人差の影響の少ない安定した手指の抽出を実現する。

手指認識の安定化技術

　そして、市販のWebカメラなどで得られる低解像度の画像でも、指先の画像を補間することでタッチ検出に必要な精度を実現。毎秒300mmの指先追跡速度による自然な指先の追従を可能にした「指先の高精度・高速な認識技術」を開発した。

指先の高精度・高速な認識技術