“エッジ生成AI”に挑む日本発スタートアップ、60TOPSのAI処理性能を8Wで実現：組み込み開発 インタビュー（2/2 ページ）

生成AIへの注目が集まる中、その生成AIを現場側であるエッジデバイスで動かせるようにしたいというニーズも生まれつつある。この“エッジ生成AI”を可能にするAIアクセラレータとして最大AI処理性能60TOPS、消費電力8Wの「SAKURA-II」を発表したのが、日本発のスタートアップであるエッジコーティックスだ。

[朴尚洙，MONOist]

ソフトウェア主導の技術基盤

　エッジコーティックスの技術基盤となっているのが、コンピュートエンジン間の接続をランタイムで再構成できるAIアクセラレータのアーキテクチャである「DNA（Dynamic Neural Accelerator）と、オープンソースで展開されているさまざまなAIフレームワークに対応してDNA向けのAIモデルをコンパイルする「MERA」だ。SAKURA-IとSAKURA-IIは、DNAとMERAというソフトウェア主導のAIプラットフォームに合わせて設計されたAIアクセラレータという位置付けになる。

エッジコーティックスの技術基盤。左下にあるAIアクセラレータアーキテクチャの「DNA」と、左上にあるコンパイラ／フレームワークの「MERA」が中核となる［クリックで拡大］ 出所：エッジコーティックス

　MERAについては、DNAだけでなく、Armやインテル、AMD、さらにはRISC-Vなどの主要なプロセッサアーキテクチャもサポートしており、CPUとAIアクセラレータを組み合わせるヘテロジニアスな処理を行うAIモデルのコンパイルも可能になっている。エッジコーティックスと同様にエッジAIアクセラレータ製品を展開するルネサス エレクトロニクスは、エッジコーティックスに出資するともに戦略的提携も行っており、ルネサスのAI製品を展開する上でMERAを活用している。

「MERA」の特徴［クリックで拡大］ 出所：エッジコーティックス

　SAKURA-IIの発表と併せてDNAとMERAも第2世代に進化している。実は、SAKURA-IとSAKURA-IIはどちらもTSMCの12nmプロセスで製造しているため、製造プロセスの微細化による性能向上や省電力の恩恵は受けていない。DNAが第2世代に進化し、これと併せて半導体設計の最適化をさらに進めたことによって、SAKURA-Iの1.5倍となる60TOPsの最大AI処理性能と標準8Wという消費電力を実現しているのだ。また、メモリ帯域幅は従来比で最大4倍の68GB/sに広がっており、生成AIモデルの処理にも十分対応可能になっている。

　また、第2世代となったMERAは、オープンソースのトランスフォーマーモデルを利用する場合に必要不可欠になりつつあるHuggingFaceとシームレスに連携できるようになった。「エッジ生成AIで用いられるパラメータ数が100億以下（10B）を中心に、数百のトランスフォーマーモデルを利用できる」（ヴェーリング氏）という。

「MERA」HuggingFaceとのシームレスな連携で数百のトランスフォーマーモデルを利用できる［クリックで拡大］ 出所：エッジコーティックス

　SAKURA-IIは、シングルチップでメモリ容量8GBもしくは16GBのM.2モジュールと、シングルチップでメモリ容量16GB／デュアルチップでメモリ容量32GBのPCIeカードのフォームファクターで、2024年後半に出荷される予定だ。予約価格は、シングルチップでメモリ容量8GBのM.2モジュールで249米ドル（約3万9000円）からとなっている。なお、ヴェーリング氏によれば「ニーズがあれば4チップ構成のPCIeカードも開発できる。この場合、AI処理性能は240TOPS、メモリ帯域幅は272GB/sに達する」と述べている。

「SAKURA-II」のM.2モジュールとPCIeカードの仕様［クリックで拡大］ 出所：エッジコーティックス

⇒その他の「組み込み開発 インタビュー」の記事はこちら