視線とポーズだけで音を奏でる、独自開発のAI搭載楽器をNECが開発：人工知能ニュース（2/2 ページ）

NECは同社のAI技術を活用した楽器の発表会を東京都内で開催した。視線で演奏する「ANDCHESTRA TRUMPET」と簡単なポーズを取って演奏する「ANDCHESTRA VIOLIN」の2つだ。

[池谷翼，MONOist]

2つの情報を組み合わせて姿勢推論の高速化に成功

　VIOLINは、人の姿勢を高精度かつ高速に特定できる姿勢推定技術を搭載した楽器だ。演奏者はVIOLINの前に立ち、あらかじめ定義されている動作をカメラの前で行う。例えば「ド」の音を鳴らす場合は手を頭上に上げる、「レ」の場合は力こぶを作る動作をする、といった具合だ。するとVIOLINに搭載されたAIが、演奏者の肩や肘、手、腰や足などの関節点を自動検出して、関節点の位置から演奏者の身体が空間内に占める領域を特定する。そのうえで関節点の中点を検出し、これらの情報を組み合わせて演奏者の姿勢を推定するという仕組みになっている。

ANDCHESTRA VIOLINに使われている姿勢推定技術［クリックして拡大］出典：NEC

　「今回開発した姿勢推定技術は急激な姿勢変化を察知するのに適している。例えば人が多く密集している混雑した場所であっても、転倒した人がいれば即座に検出できる。こうした高速処理が実現できたのは、当社の姿勢推定技術が『空間内での身体の位置』と『関節点の中点』という2つの情報を組み合わせる処理の仕組みを採用したからだ。他の企業や研究機関が開発する姿勢推定技術では、どちらか一方の情報しか使っていないものが多い。これに対して当社は2つを組み合わせることで高精度化と高速化を同時に実現した」（茂木氏）。

あらかじめ定義されたポーズを取ると対応する音が鳴る仕組み［クリックして拡大］

　今後の開発目標について尋ねたところ、茂木氏は「演奏機能のオンライン化ができないかと考えている。そもそもTRUMPETもVIOLINも楽器の『ガワ』はあるが、演奏機能自体はカメラとモニターがあれば問題なく動作する。自宅のPCやスマートフォンからさまざまな人が同時に演奏体験に参加できる仕組みも実現できる」と展望を語った。

　現時点では両楽器共に市販化は未定だという。