複雑な構造のCNNでも演算量を80％削減、認識精度の劣化も約1％に抑える：人工知能ニュース

[松本貴志，MONOist]

　NEDO（新エネルギー・産業技術総合開発機構）と沖電気工業は2019年9月9日、多様な分岐と合流のある構造のCNN（畳み込みニューラルネットワーク）モデルにおいて、精度を維持しつつ演算量を低減する新たなモデル軽量化技術を開発したと発表した。ベンチマークとする高精度モデルに対して認識精度の劣化を約1％に抑えつつ、積和演算回数と処理時間をそれぞれ約80％削減できたという。

　CNNの軽量化技術の1つとして、モデルの畳み込み層から精度向上に寄与しないチャネルを削減する「チャネルプルーニング」という手法が提案されている。しかし、従来手法のチャネルプルーニングは、経験豊富な開発者が層ごとにチャネル削減率を適切に調整する必要がある。また、削減対象チャネルを選定する指標がモデル全体の精度向上に最適でないという課題もあったという。

従来のチャネルプルーニング手法 出典：NEDO

　そこで、沖電気工業は独自のチャネルプルーニング技術「PCAS（Pruning Channels with Attention Statics）」を開発した。PCASでは軽量化対象モデルの層間に「アテンションモジュール」を追加し、アテンションモジュールを学習させる。学習が完了したアテンションモジュールで推論を実行するとチャネルの重要度が算出できるため、層間の関係性を考慮した削減対象チャネルの選定が可能だとする。

沖電気工業のチャネルプルーニング技術「PCAS（Pruning Channels with Attention Statics）」 出典：NEDO

　今回、NEDOと沖電気工業はPCASをさらに発展させ、多様な分岐と合流を含むモデルに柔軟に対応できるチャネルプルーニング技術を開発した。モデル内の分岐経路では、経路ごとに精度に寄与するチャネルが異なるため、その差異を吸収する必要がある。そこで、分岐部では単一のチャネルに対して複数のアテンションモジュールを導入し、複数経路のチャネルの重要度を全体最適で算出する。経路ごとに異なるチャネル構成の不一致を整合する手法なども開発し、多様なモデルに対して認識性能を最大限に引き出すという。

NEDOと沖電気工業が開発した新技術 出典：NEDO

　NEDOと沖電気工業は今後、同技術を低ビット演算環境に対応させるとともに、さらなる高度化と高効率化に取り組む。大規模な認識モデルへの適用も見込んでおり、高度なAI（人工知能）を軽量かつ省電力に実行できる技術の確立を目指す。

　今回の成果は、コンピュータービジョンと機械学習に関する国際学会「BMVC（British Machine Vision Conference）2019」（2019年9月9〜12日、英国カーディフ大学）で沖電気工業により発表される。