エッジにも浸透する生成AI、組み込み機器に新たな価値をもたらすか：MONOist 2025年展望（3/3 ページ）

生成AIが登場して2年以上が経過しエッジへの浸透が始まっている。既にプロセッサやマイコンにおいて「エッジAI」はあって当たり前の機能になっているが、「エッジ生成AI」が視野に入りつつあるのだ。

[朴尚洙，MONOist]

AI処理性能が数十TOPSで消費電力が一桁Wの製品も登場

　これらPC系プロセッサやJetsonは数十TOPS以上のAI処理性能を備えているものの、消費電力も大きい。Jetson Orin Nano Super開発者キットでも25Wで、PC系プロセッサは100Wを超える場合もある。もし“組み込み機器”をうたうのであれば、消費電力は一桁Wを目指したいところだ。

　AI処理性能が数十TOPS、消費電力が一桁Wという製品も既に複数登場している。ルネサス エレクトロニクスは新世代のAIアクセラレータ「DRP-AI3」を搭載するMPU「RZ/V2H」を2024年2月に発売している。消費電力1W当たりのAI処理性能は10TOPS/Wであり、最大80TOPSでAI処理を行う場合の消費電力は8Wとなる。RZ/V2Hは、「Raspberry Pi」のフォームファクターを踏襲したシングルボードコンピュータ（SBC）となる「Kaki Pi（カキピー）」も発売されている。価格（税込み）は5万9800円で、これまでルネサスが展開してきた評価ボードより安価だ。オンラインサイトで容易に入手できることも含め、製品開発に取り組みやすい環境も整えている。

「RZ/V2H」を搭載するSBC「Kaki Pi」。消費電力が低いのでファンレスを実現できている［クリックで拡大］

　日本発のスタートアップであるエッジコーティックス（EdgeCortix）は、AI処理性能が60TOPSで、消費電力が8WのAIアクセラレータ「SAKURA-II」を2024年5月に発表した。Llama2やStable Diffusionなど数十億パラメーター規模のトランスフォーマーモデルの推論実行を効率よく行えることを目指して開発が進められた製品だ。

「SAKURA-II」の概要［クリックで拡大］ 出所：エッジコーティックス

　同じくスタートアップのIdeinは2024年12月、同社のエッジAIプラットフォーム「Actcast」を用いて生成AIモデルの一種である「CLIP」をエッジデバイスに実装し、クラウドと通信することなく簡単なプロンプトを設定するだけで任意の物体を分類できる画像解析アプリ「CLIP on Actcast」を発表した。アイシンと共同開発したAIカメラ「ai cast」上での実行する必要があるが、専用のソフトウェアやAIモデルを新たに構築することなく、AIカメラで任意の物体を撮影して簡単なプロンプトを設定するだけで、画像データを解析して物体を分類できるようになる。なお、ai castに組み込んでいるAIアクセラレータは、イスラエルのHailoが開発したAIチップ「Hailo-8」で、2.5Wの低消費電力ながら26TOPSのAI処理性能を備えている。

「CLIP on Actcast」の紹介動画。AIカメラ「ai cast」で撮影した画像の中に登録したテキストに対応する物体や状態があるがどうかの分類確度を表示されている。この分類確度を基に物体のカウントを行こともできる［クリックで再生］ 出所：Idein

　NXPジャパンは、無償で提供しているAI／機械学習開発ソフトウェア「eIQ AIソフトウェア」の最新アップデートで、エッジ向けに生成AIのカスタマイズ手法の一つである「RAG（検索拡張生成）」の作成を行える「eIQ GenAIフロー」という機能を追加した。独自NPUを採用するMPU「i.MX 9シリーズ」を搭載するエッジ機器において、LLMのRAGによる最適化が可能になる。使用するLLMはパラメーター数が10億台のLlama2-7BやLlama3-8B、Phi-3 Miniなどが想定されている。2025年初から利用が可能になる予定である。

「eIQ GenAIフロー」のRAGによるLLMのチューニング［クリックで拡大］ 出所：NXPジャパン

⇒「MONOist 新年展望」バックナンバーはこちら