　東京工業大学、東北大学、富士通、理化学研究所、名古屋大学、サイバーエージェント、Kotoba Technologiesの共同研究チームは2024年5月10日、スーパーコンピュータ「富岳」を使用して大規模言語モデル（LLM）「Fugaku-LLM」を開発したと発表した。Fugaku-LLMはGitHubやHugging Faceで公開しており、ライセンスに従えば研究や商業目的で利用できる。

理化学研究所スーパーコンピュータ「富岳」［クリックで拡大］出所：東京工業大学

　Fugaku-LLMは130億パラメータのモデルで、高性能かつ現在の計算機環境下で扱いやすいサイズとなっている。サイバーエージェントが収集した独自の日本語学習データと英語のデータなどを利用し、透明性と安全性を確保しながら高い日本語性能を備えているのが特徴だ。日本語ベンチマーク「Japanese MT-Bench」では、国産かつ独自データで学習を行っているオープンモデルの中では最高性能を達成している。特に人文社会系のタスクでは高いベンチマーク性能を発揮し、敬語などでの自然な対話が期待できるという。

Fugaku-LLMデモ［クリックで拡大］出所：東京工業大学

　今回の開発では、富岳を使用することで、LLM学習時の演算速度を既存技術の6倍、通信速度を3倍に高速化した。具体的には、深層学習フレームワークを富岳に移植して、富岳上でTransformerの性能を最適化するとともに、並列分散学習手法を開発し適用して演算速度を向上した。また、通信速度の高速化のために、3種類の並列化を組み合わせて富岳向けの通信性能を最適化し、TofuインターコネクトDを通じた集団通信の高速化を図った。これらの取り組みにより、富岳のCPUを使用して、現実的な時間内での大規模言語モデル学習が可能になった。

　LLMモデルの学習には通常GPUを使用するが、LLMモデル開発の活発化に伴い世界中でGPU不足が生じている。富士通製の国産CPUを中央演算処理装置とした富岳を活用してLLMを学習できたことについて、研究グループは「日本の半導体技術の活用や、経済安全保障の観点からも重要な成果だ」としている。

⇒その他の「人工知能ニュース」の記事はこちら

スーパーコンピュータ「富岳」の世界ランキング結果を発表
富士通は、スーパーコンピュータ「富岳」が、スーパーコンピュータの世界ランキング「HPCG」「Graph500」で8期連続の世界第1位を獲得したと発表した。
「富岳」の活用に踏み切れない民間企業のために、手続きの支援サービス提供開始
JSOLと理研数理は、スーパーコンピュータ「富岳」の民間利用を支援する「『富岳』利活用コンシェルジュ」の提供を開始した。課題の選定や申請、必要書類の準備、利用報告書の提出といった手続きを支援、代行する。
富岳のCPU適用のスパコンをクラウド形式で利用可能に、富士通が新サービス
富士通は2022年4月6日、同社のコンピューティング技術とAIなどのソフトウェア技術を利用しやすいように体系化したサービス群「Fujitsu Computing as a Service」を提供開始すると発表した。スーパーコンピュータやデジタルアニーラといったコンピューティング技術の商用利用促進を目指す。
リコーが130億パラメーターの日英対応LLM開発　AWSジャパンの支援プログラム活用
AWSジャパンは2024年1月31日、国内に拠点を持つ企業や団体を対象に、大規模言語モデル開発を支援する「AWS LLM 開発支援プログラム」の成果発表会を開催した。同プログラム参加者のうち、NTTとリコー、ストックマートが登壇し、成果を紹介した。3者の発表内容を順に紹介する。
CPUで動く超軽量モデルも、NTTが国産LLM「tsuzumi」を2024年3月から商用化
NTTは2023年11月1日、独自開発の大規模言語モデル（LLM）「tsuzumi（つづみ）」の開発を発表した。同月より社内外でトライアルを開始し、2024年3月から商用サービスを開始する計画だ。
最寄り駅ではすぐ売り切れ、理研に聞いた「富岳」カプセルトイのこだわり
理研に監修時のこだわりを聞きました。