　従来のロボットシステムでは、さまざまな環境やワークに適応するための、ハンドの開発や製作、動作を規定するティーチングなどの負担が大きく、ロボット活用拡大の障壁となっていた。一方で、汎用的活用を実現する多指ハンドで不定形物を扱う複数の作業をロボットに実行させるためには、莫大な量のプログラムを組む必要があった。

　今回開発したマルチーモーダルAIロボットは、ユーザーによるプログラミングは存在せず、ディープラーニングとVR（仮想現実感）技術を用いることで、人が人に作業を教えるのと同じようにロボットに作業を学習させることが可能となる。

　VR技術とロボット操作を連携させ、全天球カメラを利用した視覚と触覚に訴えるVRティーチングシステムによって、双腕型ロボットアームの軌道を直感的に教えられる。さらに、記録された軌道とロボットアームやハンドから得られるセンサー情報をロボットに学習させることで、複雑なプログラムを組むことなく、人の作業を覚えさせることができる。

　今回のプロジェクトは3社以外にも、ベンチャー企業であるイクシーから多指ハンドの提供を受け、AIロボットの研究で知られる早稲田大学理工学術院教授の尾形哲也氏からのアドバイスを受けるなど、産学連携で推進したとしている。

　今後「マルチモーダルAIロボット」は、東京ビッグサイトで開催される「2017国際ロボット展（2017年11月29日～12月2日）」のデンソーウェーブブースおよび「SCF2017（同年11月29日～12月1日）」のベッコフオートメーションブースで展示する予定としている。