スパコン「富岳」を活用した大規模言語モデル「Fugaku-LLM」を公開：人工知能ニュース

スーパーコンピュータ「富岳」を使用して開発した大規模言語モデル「Fugaku-LLM」が公開された。ライセンスに従えば研究や商業目的で利用できる。

[MONOist]

　東京工業大学、東北大学、富士通、理化学研究所、名古屋大学、サイバーエージェント、Kotoba Technologiesの共同研究チームは2024年5月10日、スーパーコンピュータ「富岳」を使用して大規模言語モデル（LLM）「Fugaku-LLM」を開発したと発表した。Fugaku-LLMはGitHubやHugging Faceで公開しており、ライセンスに従えば研究や商業目的で利用できる。

理化学研究所 スーパーコンピュータ「富岳」［クリックで拡大］ 出所：東京工業大学

　Fugaku-LLMは130億パラメータのモデルで、高性能かつ現在の計算機環境下で扱いやすいサイズとなっている。サイバーエージェントが収集した独自の日本語学習データと英語のデータなどを利用し、透明性と安全性を確保しながら高い日本語性能を備えているのが特徴だ。日本語ベンチマーク「Japanese MT-Bench」では、国産かつ独自データで学習を行っているオープンモデルの中では最高性能を達成している。特に人文社会系のタスクでは高いベンチマーク性能を発揮し、敬語などでの自然な対話が期待できるという。

Fugaku-LLMデモ［クリックで拡大］ 出所：東京工業大学

　今回の開発では、富岳を使用することで、LLM学習時の演算速度を既存技術の6倍、通信速度を3倍に高速化した。具体的には、深層学習フレームワークを富岳に移植して、富岳上でTransformerの性能を最適化するとともに、並列分散学習手法を開発し適用して演算速度を向上した。また、通信速度の高速化のために、3種類の並列化を組み合わせて富岳向けの通信性能を最適化し、TofuインターコネクトDを通じた集団通信の高速化を図った。これらの取り組みにより、富岳のCPUを使用して、現実的な時間内での大規模言語モデル学習が可能になった。

　LLMモデルの学習には通常GPUを使用するが、LLMモデル開発の活発化に伴い世界中でGPU不足が生じている。富士通製の国産CPUを中央演算処理装置とした富岳を活用してLLMを学習できたことについて、研究グループは「日本の半導体技術の活用や、経済安全保障の観点からも重要な成果だ」としている。

⇒その他の「人工知能ニュース」の記事はこちら