グーグルの量子超越性を静観する富士通、実用性重視のAI技術で2つの「世界初」：人工知能ニュース（3/3 ページ）

[朴尚洙，MONOist]

AIの学習時間を10倍に高速化

　もう1つの新AI技術であるContent-Aware Computingは、AIの学習プロセスを効率化するものだ。AIの活用に向けて計算需要は急激に拡大している。例えば、スーパーコンピュータ「京」の全系を用いた学習時間で比較すると、2012年に登場したAlexNetが50秒なのに対し、2018年の囲碁AI「Alpha Go Zero」は約6カ月かかるという。つまり、6年で30万倍になったことになる。

　今後もAI学習のための計算需要は拡大する見込みだが、それらを扱うコンピューティングのためのスキルも高度化していく。例えば、富士通は2019年4月、ResNet-50を用いたディープラーニングの学習時間で世界最高速を達成したが、これはAIとコンピューティングの専門家が手作業でチューニングした結果であり、この高速化を実現した技術を一般ユーザーが簡単に使うことは難しい。

　Content-Aware Computingは、AI学習の高速性と使いやすさの両立を目指して開発された技術である。AI学習における高速化では、機械学習の演算精度として一般的な32ビットから16ビットや8ビットに落とすビット削減という手法が注目されている。ただし、一律に演算精度を落とすと演算結果も劣化するため、演算精度の調整は、どの箇所の演算精度を落とし、どの箇所の演算精度を落とさないかを、専門家が試行錯誤する必要があった。

ビット削減は専門家が試行錯誤する必要がある（クリックで拡大） 出典：富士通研究所

　そこでContent-Aware Computingは、プログラム挙動を動的に分析することで、専門家が静的に行ってきた試行錯誤を自動化している。採用した技術は2つ。1つは、ビット削減について、内部データの分布に応じて最適なビット幅を動的に選択する技術だ。従来は、ニューラルネットワークのうち決められた層だけをビット削減して演算していたが、この技術では各層のテータの分布に応じてビット削減の適用を拡大できる。

内部データの分布に応じて最適なビット幅を動的に選択する技術（クリックで拡大） 出典：富士通研究所

最適なビット幅の動的選択の事例。最初は全ての層で32ビットで演算しているが（左）、演算が進むうちに各層で必要なビット数に最適化されている（右）（クリックで拡大） 出典：富士通研究所

　もう1つは、クラウドなど多数ノードで並列計算を行う環境で、通信の競合や割り込み処理などにより一部ノードでのレスポンスが大幅に遅れる同期待ちを緩和する技術である。同期待ちを打ち切った場合の処理時間の削減量と演算結果への影響度を予測し、演算結果を劣化させない範囲で、処理時間を最大限に削減できるように、各同期待ちの打ち切り時間を制御する。

同期待ち緩和技術の概要（クリックで拡大） 出典：富士通研究所

2048ノードを使った並列計算での同期待ちの事例。最初は各ノードの計算時間はほぼ10msで推移するが（左）、一部のノードでリソース競合による性能劣化が起こる（中央）。並列計算では一番遅い処理を待って同期するので、一部のノードの後れが全体性能の劣化につながる。従来技術と新技術適用の比較イメージ（右）。早々に計算中断することで高層化を果たせる（クリックで拡大） 出典：富士通研究所

　RestNet-50で約70GBの画像データを学習する事例では、ビット削減で従来比3倍、同期待ち緩和で同3.7倍の高速化を確認しており、最大10倍の高速化を実現できることになる。富士通はContent-Aware Computingについても「世界初」の技術としており、2020年度内に実用化する方針である。