　NECは2020年3月30日、同社のAI（人工知能）技術群「NEC the WISE」などを活用した楽器の開発プロジェクトに関する発表会を東京都内で開催した。開発した楽器は、NEC the WISEの1つである遠隔視線推定技術を活用した「ANDCHESTRA TRUMPET（アンドケストラトランペット、以下TRUMPET）」と、今回新たに開発した姿勢推定技術を活用した「ANDCHESTRA VIOLIN（アンドケストラバイオリン、以下VIOLIN）」の2種類だ。

NECが開発した「ANDCHESTRA TRUMPET」（左）と「ANDCHESTRA VIOLIN」（右）［クリックして拡大］出典：NEC

NEC IMC本部事業ブランドグループ兼 AI・アナリティクス事業本部シニアエキスパートの茂木崇氏

　NEC IMC本部事業ブランドグループ兼 AI・アナリティクス事業本部シニアエキスパートである茂木崇氏は、今回の楽器開発に至った理由について「『誰もが演奏に参加できる楽器を開発したい』という思いがプロジェクトの原点となっている。世の中には楽器演奏に苦手意識がある人や、障がいによって楽器演奏に困難さを抱える人がいる。こうした人を演奏体験から排除せずに、誰でも気軽に演奏できる楽器をAIの力で実現したいと考えた」と語った。

　また「ANDCHESTRA」という名前については「オーケストラ（Orchestra）に由来する造語だ。オーケストラの頭には『OR（オア）』という単語がくっついている。ORには『どれかを選ぶ』という意味がある。だが、私たちは『全ての人が一緒に演奏に参加できる楽器を作りたい』という思いがあり、ORではなく『AND』を使うことで私たちの思いをよりよく表現できると考えた」と説明した。

遠隔視線推定技術を生かしたTRUMPET

　今回のプロジェクトで開発されたTRUMPETとVIOLINは、楽器正面部分にモニターとカメラが搭載されており、演奏者はその前に立つ、あるいは座って操作を行う。

　TRUMPETは顔認証技術を応用して開発した、遠隔視線推定技術を搭載する楽器だ。演奏者の眼前にあるモニター上には「ドレミ」の音名が付いたアイコンが環状に配置されている。演奏者がいずれかのアイコンに視線を動かすと、TRUMPETに搭載されたAIが演奏者の目尻と目頭、瞳などの特徴量を自動抽出した上で、白目と黒目の面積の割合から視線の方向を推定する。その結果、例えば演奏者が「ド」のアイコンを見ているとAIが判断すると「ド」の音が鳴る、という仕組みだ。