視線とポーズだけで音を奏でる、独自開発のAI搭載楽器をNECが開発：人工知能ニュース（1/2 ページ）
NECは同社のAI技術を活用した楽器の発表会を東京都内で開催した。視線で演奏する「ANDCHESTRA TRUMPET」と簡単なポーズを取って演奏する「ANDCHESTRA VIOLIN」の2つだ。
NECは2020年3月30日、同社のAI（人工知能）技術群「NEC the WISE」などを活用した楽器の開発プロジェクトに関する発表会を東京都内で開催した。開発した楽器は、NEC the WISEの1つである遠隔視線推定技術を活用した「ANDCHESTRA TRUMPET（アンドケストラ トランペット、以下TRUMPET）」と、今回新たに開発した姿勢推定技術を活用した「ANDCHESTRA VIOLIN（アンドケストラ バイオリン、以下VIOLIN）」の2種類だ。
NEC IMC本部 事業ブランドグループ兼 AI・アナリティクス事業本部 シニアエキスパートである茂木崇氏は、今回の楽器開発に至った理由について「『誰もが演奏に参加できる楽器を開発したい』という思いがプロジェクトの原点となっている。世の中には楽器演奏に苦手意識がある人や、障がいによって楽器演奏に困難さを抱える人がいる。こうした人を演奏体験から排除せずに、誰でも気軽に演奏できる楽器をAIの力で実現したいと考えた」と語った。
また「ANDCHESTRA」という名前については「オーケストラ（Orchestra）に由来する造語だ。オーケストラの頭には『OR（オア）』という単語がくっついている。ORには『どれかを選ぶ』という意味がある。だが、私たちは『全ての人が一緒に演奏に参加できる楽器を作りたい』という思いがあり、ORではなく『AND』を使うことで私たちの思いをよりよく表現できると考えた」と説明した。
遠隔視線推定技術を生かしたTRUMPET
今回のプロジェクトで開発されたTRUMPETとVIOLINは、楽器正面部分にモニターとカメラが搭載されており、演奏者はその前に立つ、あるいは座って操作を行う。
TRUMPETは顔認証技術を応用して開発した、遠隔視線推定技術を搭載する楽器だ。演奏者の眼前にあるモニター上には「ドレミ」の音名が付いたアイコンが環状に配置されている。演奏者がいずれかのアイコンに視線を動かすと、TRUMPETに搭載されたAIが演奏者の目尻と目頭、瞳などの特徴量を自動抽出した上で、白目と黒目の面積の割合から視線の方向を推定する。その結果、例えば演奏者が「ド」のアイコンを見ているとAIが判断すると「ド」の音が鳴る、という仕組みだ。
遠隔視線推定技術は既にマーケティング業界において、店舗を訪れた客が棚や商品のどの箇所に注目しているかを調査する実証実験などで用いられている。また茂木氏によると「TRUMPETでは視線検出の対象となる人物を1人だけに絞っているが、技術的には複数人の視線検出も可能だ」という。
Copyright © ITmedia, Inc. All Rights Reserved.