PFNが深層学習速度で世界最速に、「ChainerMN」のスケールアウト性能を証明：人工知能ニュース

Preferred Networks（PFN）は、深層学習（ディープラーニング）の学習速度で世界最速を実現したと発表した。2017年9月から稼働を開始している国内民間最大規模のプライベートスーパーコンピュータ「MN-1」と、独自の並列分散学習パッケージ「ChainerMN」によって実現したという。

[朴尚洙，MONOist]

　Preferred Networks（PFN）は2017年11月10日、深層学習（ディープラーニング）の学習速度で世界最速を実現したと発表した。同年9月から稼働を開始している国内民間最大規模のプライベートスーパーコンピュータ「MN-1」と、独自の並列分散学習パッケージ「ChainerMN」によって実現したという。

　深層学習の速度についてはさまざまな基準があるが、今回の成果は、広く利用されている画像分類データセットであるImageNetと、画像認識の分野で多用されるニューラルネットワークのモデルであるResNet-50を用いた学習を基準としている。

　MN-1は、NVIDIAの「Tesla P100 GPU」を1024基搭載しており、理論上のピーク性能は4.7ペタフロップス（1ペタフロップスは毎秒1000兆回の浮動小数点演算が可能であることを表す）とされている。このMN-1上でChainerMNを用いて深層学習を行ったところ15分で完了したという。従来の研究報告では、インテルの「Xeon Platinum 8160」を1600台使用した31分が最速だったので、2倍以上の速度を達成したことになる。

ImageNetとResNet-50による学習速度の比較。従来は31分が最速だったが、PFNは「MN-1」と「ChainerMN」で15分に短縮した 出典：PFN

　深層学習モデルをスーパーコンピュータで並列分散処理する場合、バッチサイズが大きくなることやCPUとGPU間の通信のオーバーヘッドなどが影響し、CPUやGPUの数に比例してモデルの精度や学習速度が伸びていかないという課題がある。

　今回の成果は、ChainerMNがGPUの数にほぼ比例して学習速度を高められる特徴（スケールアウト性能）を、より大規模な1024GPUのMN-1を使って実証したことになる。PFNは、今回の成果を活用して「大規模な深層学習を必要とする交通システム、製造業、バイオヘルスケア分野での研究開発をより一層加速させていく」としている。