クアルコムのSoCに独自LLMを組み込み、エッジ生成AIでIoT事業の成長を加速：人工知能ニュース（2/2 ページ）

サンダーソフトジャパンは、中国サンダーソフトと米国クアルコムの両社が合弁でSOM製品を中心としたIoT向けプラットフォームを展開しているサンダーコムの事業について説明した。

[朴尚洙，MONOist]

独自開発の「Rubik LLM」をエッジデバイスに組み込み

　サンダーコムの事業展開を次のステップに進めるために取り組みを加速させているのがエッジデバイスにおける生成AIの活用である。まず、サンダーコムの事業展開でソフトウェア関連を支えるサンダーソフトは「Rubik LLM」と呼ぶLLMを独自開発しており、並行してクアルコムのチップセットで動作もサポートしている。LLMの規模も、70億を皮切りに300億まで拡大しており言語は英語と中国語、日本語に対応している。今後も500億、700億と規模拡大を続けていく方針だ。

サンダーソフトが独自に開発しているLLM「Rubik LLM」［クリックで拡大］ 出所：サンダーソフトジャパン

　そして、このRubik LLMをサンダーコムのSOMに組み込むためのフレームワークとツールを用意している。エッジでの生成AIの利点としては「エッジ内部で処理することによるデータセキュリティ性の向上」「低レイテンシ」などがあり、それを検証済みのRubik LLMによって効率的に導入でき、クアルコムのSoCに低消費電力性能が得られ、サンダーコムが得意とするAndroid、Linux、Ubuntu、Windowsといったカスタマイズ対応も可能になるという。

エッジデバイスにLLMを組み込むためのフレームワークとツール［クリックで拡大］ 出所：サンダーソフトジャパン

エッジにおける生成AIの利点と、サンダーコムを活用するメリット［クリックで拡大］ 出所：サンダーソフトジャパン

　会見ではTurboX C8550の開発キットである「TurboX C8550 Development Kit」を用いて、70億パラメータのRubik LLMを組み込んで実際に動作させるデモンストレーションを披露した。TurboX C8550のメモリ容量は12GB（LPDDR5x）であり、そのまま70億パラメータのRubik LLMを組み込むことは難しいが、量子化などの手法を用いてモデルを圧縮することでエッジデバイスでの動作を可能にしている。

会見では「TurboX C8550 Development Kit」に「Rubik LLM」を組み込んで実際に動作させるデモンストレーションを披露した披露した。「日本の一番高い山は？」と質問したところ、回答として「日本の最高峰は富士山で、その標高は3776mです」という回答が得られた［クリックで拡大］

⇒その他の「人工知能ニュース」の記事はこちら