複雑な構造のCNNでも演算量を80%削減、認識精度の劣化も約1%に抑える:人工知能ニュース
NEDO(新エネルギー・産業技術総合開発機構)と沖電気工業は2019年9月9日、多様な分岐と合流のある構造のCNN(畳み込みニューラルネットワーク)モデルにおいて、精度を維持しつつ演算量を低減する新たなモデル軽量化技術を開発したと発表した。
NEDO(新エネルギー・産業技術総合開発機構)と沖電気工業は2019年9月9日、多様な分岐と合流のある構造のCNN(畳み込みニューラルネットワーク)モデルにおいて、精度を維持しつつ演算量を低減する新たなモデル軽量化技術を開発したと発表した。ベンチマークとする高精度モデルに対して認識精度の劣化を約1%に抑えつつ、積和演算回数と処理時間をそれぞれ約80%削減できたという。
CNNの軽量化技術の1つとして、モデルの畳み込み層から精度向上に寄与しないチャネルを削減する「チャネルプルーニング」という手法が提案されている。しかし、従来手法のチャネルプルーニングは、経験豊富な開発者が層ごとにチャネル削減率を適切に調整する必要がある。また、削減対象チャネルを選定する指標がモデル全体の精度向上に最適でないという課題もあったという。
そこで、沖電気工業は独自のチャネルプルーニング技術「PCAS(Pruning Channels with Attention Statics)」を開発した。PCASでは軽量化対象モデルの層間に「アテンションモジュール」を追加し、アテンションモジュールを学習させる。学習が完了したアテンションモジュールで推論を実行するとチャネルの重要度が算出できるため、層間の関係性を考慮した削減対象チャネルの選定が可能だとする。
今回、NEDOと沖電気工業はPCASをさらに発展させ、多様な分岐と合流を含むモデルに柔軟に対応できるチャネルプルーニング技術を開発した。モデル内の分岐経路では、経路ごとに精度に寄与するチャネルが異なるため、その差異を吸収する必要がある。そこで、分岐部では単一のチャネルに対して複数のアテンションモジュールを導入し、複数経路のチャネルの重要度を全体最適で算出する。経路ごとに異なるチャネル構成の不一致を整合する手法なども開発し、多様なモデルに対して認識性能を最大限に引き出すという。
NEDOと沖電気工業は今後、同技術を低ビット演算環境に対応させるとともに、さらなる高度化と高効率化に取り組む。大規模な認識モデルへの適用も見込んでおり、高度なAI(人工知能)を軽量かつ省電力に実行できる技術の確立を目指す。
今回の成果は、コンピュータービジョンと機械学習に関する国際学会「BMVC(British Machine Vision Conference)2019」(2019年9月9〜12日、英国カーディフ大学)で沖電気工業により発表される。
関連記事
- 低コストFPGAで深層学習、コア技術をオープンソース化したベンチャーの狙い
LeapMindは2018年10月19日、組み込み向けFPGA上でディープラーニングを動作させるソフトウェアスタックをオープンソースで公開した。同社が今まで強みとしてきた技術が、誰でも利用もできるようになった。同社CTO(最高技術責任者)を務める徳永拓之氏に、blueoilとはどのようなもので、何が実現できるのか。そして、オープンソース化した狙いなどを聞いた。 - エッジAIは専用プロセッサの流れに、LeapMindが独自IPの設計を明かす
LeapMindはディープラーニングの推論処理に特化した低消費電力プロセッサIP(Intellectual Property)の開発を明らかにした。 - 演算量を90%減、エッジで画像生成・認識できるAIを三菱電機が開発
三菱電機は2019年1月31日、従来手法から演算量とメモリ量を約10分の1に抑えた画像生成用ディープニューラルネットワーク構築技術を開発したと発表した。画像生成や画像内の物体認識を組み込みデバイスやエッジ上で動作させることを狙う技術となる。 - 画像処理と機械学習に特化したエッジAIチップ、「売価は1000円以下を目標」
ArchiTekは、「イノベーション・ジャパン2019 〜大学見本市&ビジネスマッチング〜」(2019年8月29〜30日、東京ビッグサイト)において、同社が開発するエッジデバイス向けAI(人工知能)プロセッサの技術紹介を行った。競合のエッジAIチップと比較して電力性能やコスト面で優位性があると訴える。 - 低遅延が求められる産業機器のエッジAI、ザイリンクスの処理性能は「GPUの8倍」
Xilinx(ザイリンクス)が産業機器や医療機器、監視カメラなどISM分野の事業戦略について説明。FPGAやプログラマブルSoCなどを用いた同社のソリューションは、ISM分野で求められる低遅延の条件において、GPUと比べて最大8倍のAI処理性能を実現できるという。 - ラズパイゼロで推論も学習もできる組み込みAI「DBT」、“AIチップ”で開発容易に
AIベンチャーのエイシングが、組み込み機器などのプロセッサでAIの推論実行だけでなく学習も行える独自技術「DBT」について説明。このDBTによるアプリケーション開発を容易に行えるAIモジュール「AiiR(エアー)チップ」を開発したと発表した。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.