市販モーションセンサーで手話をテキスト化、みずほ情報総研と千葉大が共同開発へ：モーションセンサー活用

みずほ情報総研と千葉大学は、市販のモーションセンサーデバイスを活用して、手話を日本語に変換する「手話認識システム」の開発に着手したと発表した。2014年の実用化を目指し、2013年10月中旬をめどにプロトタイプ版を完成させる計画。

[八木沢篤，MONOist]

　みずほ情報総研と千葉大学 黒岩・堀内研究室は2013年9月4日、市販のモーションセンサーデバイスを活用して、手話を日本語に変換する「手話認識システム」の開発に着手したと発表した。2014年の実用化を目指し、2013年10月中旬をめどにプロトタイプ版を完成させる計画だという。

手首と肘の動きから単語を推定

　同システムは、マイクロソフトの「Kinect for Windows センサー」をはじめとした市販のモーションセンサーデバイスを用い、手話者の前腕部（手首・肘）の動きを認識。その動きとあらかじめ登録した単語ごとの特徴データを比較し、自動的に単語の意味を推定して、ディスプレイ上にリアルタイムに文章を表示する（テキスト化する）ものである。今回の共同開発では、みずほ情報総研が手話認識システムのアプリケーション開発全般を、千葉大学が手話認識のための技術指導および単語ごとの特徴データの整備を担当する。

図1　手話認識の流れ

　同システムの実現により、聴覚障害者と健聴者との円滑なコミュニケーションの支援が可能になるという。例えば、公共機関や金融機関などの対面形式でのコミュニケーションが求められる場において、円滑な意思疎通の促進を支援するとともに、バリアフリーな社会の実現に貢献できるとする。

図2　開発中の手話認識システムの画面

モーションセンサーデバイスの応用広がる

　昨今、市販のモーションセンサーデバイスの高機能化・低価格化が進み、その応用の場は、エンターテインメント分野やマーケティング分野にとどまらず、医療・福祉・介護などの専門分野へと広がっている（関連記事（1）：「Kinectを活用した障害者向け活動支援ソリューション『OAK』、東大先端研と日本MSが共同開発」、関連記事（2）「マイクロソフトがUIの進化を語る、NUIの発展を牽引するKinectとMSRの研究事例」、関連記事（3）：「予想外にハイレベル!! Kinect for Windows センサーでここまでできる」）。

　モーションセンサーデバイスを活用したコンピュータとの対話（NUI：Natural User Interface）、そして、今回発表された“動作を日本語に変換する技術”は、さまざまな分野への応用も期待できる。今後、みずほ情報総研と千葉大学は、手話認識以外の用途への活用も視野に入れ、検討を進めていくとしている。