自動並列化深層学習ミドルウェアを開発、オープンソースとして公開：人工知能ニュース

情報通信研究機構と東京大学は、自動並列化深層学習ミドルウェア「RaNNC」を開発し、オープンソースとして公開を開始した。「GitHub」にソースコードを公開しており、商用目的を含めて無償で利用できる。

[MONOist]

　情報通信研究機構（NICT）は2021年3月31日、東京大学と共同開発した自動並列化深層学習ミドルウェア「RaNNC（Rapid Neural Net Connector）」をオープンソースとして公開を開始した。ソフトウェア開発のプラットフォーム「GitHub」でソースコードを公開しており、商用目的を含めて無償で利用できる。

　RaNNCは、深層学習ソフトウェア「PyTorch」用に記述した既存のニューラルネットワーク定義を入力すると、実行速度を最適化しながら、各GPUのメモリに収まるように自動的にニューラルネットワークを分割して、データ並列とモデル並列とのハイブリッドにより複数のGPUを用いて並列に学習する。

　従来の大規模ニューラルネットワークの学習では、ニューラルネットワークを分割する際、複雑なニューラルネットワーク定義を大幅に書き換えなければならず、高度な知識や作業コストが必要とされていた。RaNNCでは、定義を書き換える必要がないため、大規模ニューラルネットワークの学習が容易となる。

RaNNCの並列学習イメージ 出典：情報通信研究機構（NICT）

　また、既存のソフトウェア「Megatron-LM」「Mesh-TensorFlow」は、BERTなど特定のニューラルネットワークにしか使用できなかったが、RaNNCは適用可能なニューラルネットワークの種類に制限がない。

　NICTの計算機環境で比較実験を実施したところ、RaNNCはMegatron-LMの約5倍の規模のニューラルネットワークを学習できた。同じ規模のニューラルネットワークでは、ほぼ同等の学習速度となっている。

　NICTデータ駆動知能システム研究センターでは、大規模Web情報分析システム「WISDOM X」や高齢者介護用マルチモーダル音声対話システム「MICSUS」、次世代音声対話システム「WEKDA」などさまざまなシステムを開発している。今後はこれらのシステムにRaNNCを用いることで、さらなる性能向上が期待できる。