“エッジ生成AI”に挑む日本発スタートアップ、60TOPSのAI処理性能を8Wで実現：組み込み開発 インタビュー（1/2 ページ）

生成AIへの注目が集まる中、その生成AIを現場側であるエッジデバイスで動かせるようにしたいというニーズも生まれつつある。この“エッジ生成AI”を可能にするAIアクセラレータとして最大AI処理性能60TOPS、消費電力8Wの「SAKURA-II」を発表したのが、日本発のスタートアップであるエッジコーティックスだ。

[朴尚洙，MONOist]

　ChatGPTに代表される生成AI（人工知能）への注目が集まる中、その生成AIをクラウドやサーバではなく、現場側であるエッジデバイスで動かせるようにしたいというニーズも生まれつつある。ただし、従来の機械学習モデルと比べて生成AIモデルの規模が大きいこともあり、エッジデバイスに搭載可能なAIアクセラレータで十分な処理性能を確保することは容易ではない。

　このエッジAIアクセラレータで大きな存在感を持つ日本のスタートアップ企業がエッジコーティックス（EdgeCortix）だ。マイクロソフトやIBM、理化学研究所、ドイツのマックスプランク研究所などでAI関連をはじめさまざまな研究開発に携わったサキャシンガ・ダスグプタ氏（創業者兼CEO）が2019年に創業した同社は、本社を東京、研究開発や半導体設計を行うエンジニアリングセンターを川崎の武蔵小杉に置く、日本発祥の半導体スタートアップである。

エッジコーティックス 創業者兼CEOのサキャシンガ・ダスグプタ氏（左）と同社 グローバルセールス担当EVPのティム・ヴェーリング氏（右）。ヴェーリング氏が手に持っているのは、同社が出展した「第8回 AI・人工知能EXPO 【春】」で初公開した「SAKURA-II」のM.2モジュール［クリックで拡大］

エッジAIでもトランスフォーマーの高効率な処理が求められる

　エッジコーティックスはその社名に“エッジ”が入っている通り、エッジデバイスに組み込む高効率のAIアクセラレータと関連ソフトウェアの開発に注力している。2022年4月には、最大で40TOPSというAI処理性能を持つAIアクセラレータの第1弾製品「SAKURA-I」を発表した。

　既存の機械学習モデルの推論実行を行うのであれば十分なAI処理性能を持つSAKURA-Iだが、2022年11月のChatGPTの発表を受けて2023年以降のAIアクセラレータに対するニーズは、エッジAIを含めて生成AIモデルへの対応が求められるようになった。同社 グローバルセールス担当EVPのティム・ヴェーリング氏は「生成AIでは、従来のCNN（畳み込みニューラルネットワーク）ではなくトランスフォーマーが広く用いられている。エッジAIでは、このトランスフォーマーを高性能かつ省電力で処理することが求められている」と語る。

エッジでも生成AIを効率的に処理することが求められている［クリックで拡大］ 出所：エッジコーティックス

　そこでエッジコーティックスは、SAKURA-Iの発表から約1年後の2024年5月22日、エッジ生成AIを可能とする次世代AIアクセラレータの第2弾製品「SAKURA-II」を発表した。SAKURA-IIは、SAKURA-Iをベースにエッジ生成AIに求められる仕様に合わせてアーキテクチャを第2世代に進化させるとともに、半導体設計のさらなる最適化も進めた。最大AI処理性能は、SAKURA-Iの1.5倍となる60TOPSに引き上げられ、Llama2やStable Diffusionなど数十億パラメータ規模の生成AIモデルを8W以内で推論実行できるという低消費電力性能も大きな特徴になる。

「SAKURA-II」を搭載するM.2モジュール（上）とPCIeカード（下）［クリックで拡大］ 出所：エッジコーティックス

「SAKURA-II」の概要［クリックで拡大］ 出所：エッジコーティックス

　ヴェーリング氏は「エッジで生成AIに対応するためには、この8Wを標準値として消費電力を収めながら、精度とAI処理性能のバランスさせる上で重要なbfloat16などの混合精度モデルに対応する必要がある。生成AI処理の遅延のボトルネックとなるメモリについても高い帯域幅を確保しなければならない。そして、適正な価格設定によるコスト低減も求められる」と強調する。

エッジで生成AIを処理するためのAIアクセラレータの要件［クリックで拡大］ 出所：エッジコーティックス