スーパーコンピュータを活用し、AI学習を容易に高速処理する技術を開発：製造ITニュース

富士通は、スーパーコンピュータを活用して、大規模なAI学習を簡単かつ高速に処理するソフトウェア技術を開発した。大規模な日本語AIモデルに適用して検証した結果、従来1個のGPUで数カ月要した演算を短時間で学習することに成功した。

[MONOist]

　富士通は2021年11月24日、スーパーコンピュータを活用して、大規模なAI（人工知能）学習を簡単かつ高速に処理できるソフトウェア技術を開発したと発表した。高性能な自然言語処理AIモデルの学習環境を、大規模コンピュータ上に容易に準備する技術で、世界トップクラスの高速演算性能と認識精度を実現できるという。

　同技術では、スーパーコンピュータのシステムに応じた最適化技法をHPC（High Performance Computing、高性能コンピューティング）の専門家が最適化し、ユーザーが実行するジョブに対して、自動データ配置と自動分散を適用する。これにより、AIフレームワークによる環境はそのままで、計算基盤を容易にスーパーコンピュータへ移行できる。

　スーパーコンピュータは、ネットワーク構成やファイルシステムなどの環境が異なっており、効率的なデータ参照にはシステムの知識と技術が必要とされる。今回開発した自動最適化技術を適用することで、専門知識や技術を持たなくてもAIフレームワークが利用可能になる。

自動最適化技術の適用イメージ［クリックで拡大］ 出所：富士通

　同技術を大規模な日本語AIモデルに適用して検証した結果、従来1個のGPUで数カ月要した演算を短時間で学習することに成功。パラメーターの要素数が約12億個のBERT-XLargeと約39億個のBERT-3.9Bの巨大モデルを適用したところ、768個のGPUを用いてXLargeを4.7時間、BERT 3.9Bを約16時間で学習できることを確認した。また、大規模化によって、日本語自然言語モデルとしては最高の精度を達成した。

巨大なBERTモデルの日本語タスクに対する精度比較［クリックで拡大］ 出所：富士通

⇒その他の「製造ITニュース」の記事はこちら