「IOWN」はLLMに何をもたらすか、NTTが進める次世代通信とAIの研究開発：モノづくり最前線レポート（3/3 ページ）

NTTが同社の技術研究の成果などを展示紹介する「NTT R&Dフォーラム2023」を開催中だ。基調講演では代表取締役社長の島田明氏や執行役員研究企画部門長の木下真吾氏が、「IOWN」や大規模言語モデル「tsuzumi」を中心にR&Dの取り組みを紹介した。

[池谷翼，MONOist]

DCIでLLMの学習や推論プロセスが効率化できる可能性

　木下氏はIOWNとtsuzumiなどのLLMが組み合わさることで、どのような相乗効果が生まれるかを解説した。

　NTTはすでに、横須賀研究開発センタ（神奈川県横須賀市）のデータベース上にある学習データを、武蔵野研究開発センタ（東京武蔵野市）の研究所のGPUクラウドとAPNでつなぐことで、tsuzumiの学習プロセスをリモート環境で実行することに成功している。学習データを格納したストレージをローカル環境に置いたときと、リモート環境に置いたときではLLMに非常に大きな性能差が生まれるが、tsuzumiの学習では0.5％以下と「ほぼ性能差ゼロで、問題ないレベル」に仕上げることができたとする。

tsuzumiの学習プロセスをリモート環境で実行することに成功［クリックして拡大］ 出所：NTT

　この他に想定し得る相乗効果としては、将来的にDCIによってボード単位、ボード上のチップ単位でのコンピューティングリソース最適化が可能になることで、LLMの学習や推論プロセスがさらに効率化できる可能性などがある。木下氏は「この段階のDCIになるとGPUとメモリを分離できる。GPUが遊んでいる時間をなるべく減らして最適なリソース配置ができるようになるのではないか」と語った。

　さらにNTTは専門性を持つ小規模なLLMが相互に連携していく「AIコンステレーション」という構想をAI活用の将来像として構想している。小規模だが大量のLLMをつなぐ必要があるが、この時のネットワーク基盤としてもIOWNが貢献し得ると考えているようだ。

NTTが描く「AIコンステレーション」の構想［クリックして拡大］ 出所：NTT

　なおAIコンスタレーション研究推進のため、NTTは2023年11月13日にSakana AIと業務提携を締結した。Sakana AIは画像生成AIで有名なStability AIで研究責任者を担当したDavid Ha氏と、LLMの代表的なアーキテクチャである「Transformer」の論文著者の1人であるLlion Jones氏が設立したAIスタートアップで、現在は東京に拠点を構えている。木下氏は「LLM同士の連携では自然言語、ベクトル情報、あるいはAI独自のプロトコルを用いたやりとりの何がいいかなどを探っていきたい」と語った。

Sakana AIとの業務提携を発表［クリックして拡大］ 出所：NTT

　木下氏はNTT研究所の今後の方向性について、NTT研究所の以前の組織である電気通信研究所において初代所長を務めた吉田五郎氏の「知の泉を汲んで研究し実用化により世に恵みを具体的に提供しよう」という言葉を引用しながら、「世界最高峰の研究地位を確固たるものにするとともに、IOWNやLLMなどを確実に実用化しつつ、2023年6月に組織した研究開発マーケティング本部体制によって世の中への実装を加速していきたい」と説明した。

⇒その他の「製造ITニュース」の記事はこちら