残存しているわずかな筋の動作でメタバースに操作命令できる技術を開発：医療機器ニュース

NTTは、四肢など肢体が重度に不自由な人のわずかな筋の動作をメタバースへの操作命令につなげる入力インタフェースを開発した。自分の意思を伝えるための身体拡張技術として、表面筋電信号入力を利用できるようになる。

[MONOist]

　日本電信電話（NTT）は2023年11月8日、四肢など肢体が重度に不自由な人が、残存しているわずかな筋の動作をメタバースへの操作命令につなげる入力インタフェースを開発したと発表した。

　sEMG（表面筋電位）は、筋がわずかでも動けば計測可能だ。実際に、ALS（筋萎縮性側索硬化症）患者による数mmの身体部位の動きに対して、sEMGを観測することができた。

安静時の状態を基準にしたときの各身体部位に取り付けたモーションキャプチャーマーカーが移動した距離（青線）と表面筋電センサー（身体部位に取り付けた赤点の位置）が計測した表面筋電位を二乗平均平方根処理した値（赤線）を示した図［クリックで拡大］ 出所：NTT

　ただし、ある身体部位を意図して動かそうとする際に、別の身体部位の筋が反応することがある。そこで、意図した身体部位の筋を抽出するために、筋が脱力している状態をsEMGの基準値としてキャリブレーションし、筋収縮の動作判定に使用する閾値を身体部位ごとに設定した。

　また、重度障害者が継続してメタバースへ操作命令をするに当たり、筋疲労が問題となる。そこで動作を節約するため、筋を長時間収縮し続けたり筋収縮に強弱を付けたりといった方法で操作命令をするのではなく、各身体部位の筋収縮の動作判定に応じてそれぞれの操作命令を決定するようにした。また、各操作命令に対応するアバター動作が一定時間反映される、同じ操作命令を繰り返した場合はアバターの動作時間が延びるといった仕様になっている。

sEMGのRMSが閾値を超えたときの操作命令に伴うアバター動作の挙動の一例［クリックで拡大］ 出所：NTT

　同技術を用いたメタバース操作の実装事例として、ALS患者が視線入力でアバターを操作するDJパフォーマンスや、sEMGを活用したゲーム操作がある。

　DJパフォーマンス実装は、NTTとDentsu Lab Tokyoが連携して構築したシステムで、同技術にDentsu Lab Tokyoの操作UIとアバター表現を組み合わせて、メタバースでDJパフォーマンスをする。

DJパフォーマンスのために構築したシステムの構成と各社の役割［クリックで拡大］ 出所：NTT

　ゲーム操作の実装では、sEMGによるアバター向け操作命令をゲーム向けに変換することで、ゲーム内のキャラクターを操作できる。

実装したゲームと同技術を用いた筋電入力シーンの一例［クリックで拡大］ 出所：NTT

　同技術により、四肢など肢体が重度に不自由な人は脳信号や視線だけでなく、表面筋電信号を入力して自分の意思を伝えられるようになる。NTTは、2024年度には同技術を障害の程度に合わせられるよう改善する。また、メタバースやロボットを介した空間で、障害の有無を感じさせない多様なコミュニケーション表現ができるようにしていく。

*** 一部省略されたコンテンツがあります。PC版でご覧ください。 ***