「IOWN」はLLMに何をもたらすか、NTTが進める次世代通信とAIの研究開発モノづくり最前線レポート(3/3 ページ)

» 2023年11月15日 09時30分 公開
[池谷翼MONOist]
前のページへ 1|2|3       

DCIでLLMの学習や推論プロセスが効率化できる可能性

 木下氏はIOWNとtsuzumiなどのLLMが組み合わさることで、どのような相乗効果が生まれるかを解説した。

 NTTはすでに、横須賀研究開発センタ(神奈川県横須賀市)のデータベース上にある学習データを、武蔵野研究開発センタ(東京武蔵野市)の研究所のGPUクラウドとAPNでつなぐことで、tsuzumiの学習プロセスをリモート環境で実行することに成功している。学習データを格納したストレージをローカル環境に置いたときと、リモート環境に置いたときではLLMに非常に大きな性能差が生まれるが、tsuzumiの学習では0.5%以下と「ほぼ性能差ゼロで、問題ないレベル」に仕上げることができたとする。

tsuzumiの学習プロセスをリモート環境で実行することに成功[クリックして拡大] 出所:NTT

 この他に想定し得る相乗効果としては、将来的にDCIによってボード単位、ボード上のチップ単位でのコンピューティングリソース最適化が可能になることで、LLMの学習や推論プロセスがさらに効率化できる可能性などがある。木下氏は「この段階のDCIになるとGPUとメモリを分離できる。GPUが遊んでいる時間をなるべく減らして最適なリソース配置ができるようになるのではないか」と語った。

 さらにNTTは専門性を持つ小規模なLLMが相互に連携していく「AIコンステレーション」という構想をAI活用の将来像として構想している。小規模だが大量のLLMをつなぐ必要があるが、この時のネットワーク基盤としてもIOWNが貢献し得ると考えているようだ。

NTTが描く「AIコンステレーション」の構想[クリックして拡大] 出所:NTT

 なおAIコンスタレーション研究推進のため、NTTは2023年11月13日にSakana AIと業務提携を締結した。Sakana AIは画像生成AIで有名なStability AIで研究責任者を担当したDavid Ha氏と、LLMの代表的なアーキテクチャである「Transformer」の論文著者の1人であるLlion Jones氏が設立したAIスタートアップで、現在は東京に拠点を構えている。木下氏は「LLM同士の連携では自然言語、ベクトル情報、あるいはAI独自のプロトコルを用いたやりとりの何がいいかなどを探っていきたい」と語った。

Sakana AIとの業務提携を発表[クリックして拡大] 出所:NTT

 木下氏はNTT研究所の今後の方向性について、NTT研究所の以前の組織である電気通信研究所において初代所長を務めた吉田五郎氏の「知の泉を汲んで研究し実用化により世に恵みを具体的に提供しよう」という言葉を引用しながら、「世界最高峰の研究地位を確固たるものにするとともに、IOWNやLLMなどを確実に実用化しつつ、2023年6月に組織した研究開発マーケティング本部体制によって世の中への実装を加速していきたい」と説明した。

⇒その他の「製造ITニュース」の記事はこちら

前のページへ 1|2|3       

Copyright © ITmedia, Inc. All Rights Reserved.