　2015年から注目を集め始めた機械学習ベースのAIモデルは、規模が大きいこともあって当初は現場側の組み込み機器に実装することは難しいと考えられていた。しかし、パラメータを32ビット浮動小数点から8ビットや16ビットの固定小数点に変換する「量子化」などの手法によってモデルの軽量化が進んだ。このため、Armの「Cortex-Aシリーズ」やインテル、AMDのx86系のプロセッサを搭載する高性能の組み込み機器でも十分にAIを運用できるようになった。

　AI技術の進化に大きく貢献したNVIDIAが、同社のGPUアーキテクチャを活用した組み込みAIボード「Jetsonシリーズ」を展開したこともエッジAIの市場拡大に向けた大きな原動力となった。さらに、安価に入手可能な組み込みボードである「Raspberry Pi」の存在は製造業の現場におけるエッジAI活用のPoCを支えた。

　とはいえ、クラウドや専用サーバなどでリソースが豊富なインフラを用いて学習したAIモデルを、組み込み機器にエッジAIとしてそのまま実装するにはやはりプロセッサの処理能力が不足することが多かった。今後も、クラウド上のAIモデルからエッジAIへの最適化は必要不可欠だが、それ以上に生成AIに代表されるように進化を続けるAIと比べて、エッジAIを実装する組み込み機器側の処理性能のギャップが大きくなっていたというのが実情だろう。

　2024年は、このギャップを大きく埋めるであろう組み込みボードやプロセッサの活用が進む1年になりそうだ。

　まず挙げられるのはNVIDIAのJetsonシリーズの最新モデル「Jetson Orin」だ。フラグシップモデルの「Jetson AGX Orin」は、Ampereアーキテクチャに基づくGPUコアとともに、Armのプロセッサコア「Cortex-A78AE」を最大12コア集積したSoCを搭載しており、AI処理性能は「Jetson AGXシリーズ」の前世代モデルとなる「Jetson AGX Xavier」と比べて8倍以上となる最高275TOPS（1TOPSは毎秒1兆回の演算性能）の処理性能を備えている。

　Jetson AGX Orinの開発者キットの発売は2022年3月だが、2023年4月には普及モデルとしてAI処理性能が40TOPSの「Jetson Orin Nano」も投入している。これら、Jetson Orinのラインアップを拡充に合わせて、開発環境の「JetPack」も最新版となる「JetPack 6」を2023年11月にリリースするなど、大幅な機能拡張を行っている。

　NVIDIAは、Jetson OrinであればトランスフォーマーモデルやLLM（大規模言語モデル）も実装可能であることをアピールしており、Jetson AGX Orinは生成AIモデルの処理性能でインテルの最新サーバ向けプロセッサ「Xeon Platinum 8480+」の1.7倍をたたき出したと発表している。

「Jetson AGX Orin」の生成AIモデルのベンチマークスコア［クリックで拡大］出所：NVIDIA

　x86系プロセッサを展開するインテルとAMDも、NVIDIAに対抗する姿勢を鮮明にしており、最新プロセッサに専用AIアクセラレータを組み込むなどしている。

　インテルが2023年12月に発表した「インテル Core Ultra プロセッサー（以下、Core Ultra）」は、内蔵GPUのアーキテクチャをディスクリートGPUと同じ「Arc」に刷新するとともに、専用のNPU（Neural Processing Unit）も搭載するなど、AI処理性能の向上に主眼を置いている。Core UltraはノートPC向けのプロセッサ製品ではあるものの、ドイツのコンガテック（Congatec）が組み込みボードを発表しており、今後はCore Ultraベースの組み込みボード製品が多数登場するものとみられる。

「Core Ultra」の概要［クリックで拡大］出所：インテル

　AMDも2023年6月発表の「Ryzen 7040シリーズ」から、「Ryzen AI」と呼ぶAIプロセッサを採用している。2024年1月の「CES 2024」では、Ryzen AIの搭載に加えて内蔵GPUを強化した「Ryzen 8000Gシリーズ」を発表するなど、CPU、GPU、AIアクセラレータという3つの要素の組み合わせでAI処理性能の向上に努めている。

　この他、ルネサスエレクトロニクスも2022年12月に発表したAIアクセラレータ「DRP-AI」の次世代モデルを搭載した製品の開発を進めている。AI処理性能は80TOPSで、Jetson AGX Orinと比べると見劣りする数字ではあるが、放熱対策が不要で消費電力を小さく抑えられることを特徴としている。