単眼カメラで「ガチョ〜ン」を検知!? 富士通研の3Dハンドジェスチャー認識技術：距離センサー／ステレオカメラなしで実現

富士通研究所と富士通研究開発中心は、PCやタブレット端末などに搭載されている1台（単眼）のカメラで撮影した映像から、上下・左右方向の手の動きだけでなく、奥行き方向の手の動きも検知できる「3次元ハンドジェスチャー認識技術」を開発した。

[八木沢篤，MONOist]

　富士通研究所と富士通研究開発中心（中国・北京市）は2013年5月20日、PCやタブレット端末などに搭載されている1台（単眼）のカメラで撮影した映像から、上下・左右方向の手の動きだけでなく、“奥行き方向の手の動き”も検知できる「3次元ハンドジェスチャー認識技術」を開発したと発表した。

　従来のハンドジェスチャー認識技術は、マウスのカーソル移動に相当する上下・左右方向の手の動きは検知できたが、クリック操作に相当する“手を前に押し出す動き”の検知は困難だった。今回、（1）手のひらモデルを基に、正確かつ高速に手の領域を検出する技術と、（2）手の大きさの変化に基づく、奥行き方向の動き検知技術を開発し、直感的な動作である押すジェスチャー（手を前に押し出す動き）によるクリック操作を実現したという。

　一般的に、1台のカメラで手の奥行き方向を検知する場合には、手のひらの領域の変化を利用することになる。しかし、ユーザーが半袖を着ていたり、背景が肌色に近い色の場合、手のひらと背景の識別が困難で、手のひらの領域だけを背景から正確に抽出することができなかった。一方、距離を測る距離センサーを用いたり、複数のカメラを用いることで奥行きを検知することは可能だが、装置のコストが高くなるという課題を抱えていた。

　今回開発した（1）手のひらモデルを基に、正確かつ高速に手の領域を検出する技術では、まず、撮影した画像をあるブロックサイズごとに切り出し、その中にあらかじめ登録してある手の特徴データ（手のひらモデル）が存在するかを算出。この操作をブロックの位置とサイズを変えながら画像全体に対して行い、手の位置とサイズを特定する。次に、手を検出した位置とサイズにおいて、最も手の形を捉えられるように部分的に色の閾値を変えながら手の領域を抽出。これらの操作により、手の領域の安定した検出を可能にした。

図1　従来方式と開発方式との比較

　もう1つの技術、（2）手の大きさの変化に基づく、奥行き方向の動き検知技術では、時々刻々と変化する「手の大きさ」「角度」「中心位置」を、手の動きの連続性を用いて高精度に推定し、押す・引くの動作を約90％の精度で検知できるという。

図2　本技術による奥行き方向を用いた操作

　これらの技術により、1台のカメラで、端末のメニュー選択を上下の手振り操作で行い、メニューの決定を押す操作で行ったり、あるいは、映画・音楽・スポーツなどのコンテンツの選択を左右の手振り操作で行い、コンテンツの決定を押す操作で行ったりといった使い方が可能になる。さらに、地図画面などの拡大・縮小を、押す操作・引く操作（手を遠ざける動作）で実現できるなど、ハンドジェスチャーでより複雑な操作が行えるようになるという。

　今後、富士通研究所では、ユーザビリティーの評価を行うとともに、手の検出・認識技術の高精度化を進め、2014年度中の実用化を目指す。なお、本技術の詳細は、5月20日から立命館大学（京都府）で開催される国際会議「International Conference on Machine Vision Applications（MVA） 2013」にて発表される。