　Jetson AGX Orinは、NVIDIAが2022年3月に発表した組み込みAIボードで、従来モデルの「Jetson AGX Xavier」と比べて8倍以上となる最高275TOPS（1TOPSは毎秒1兆回の演算性能）の処理性能を備えている。NVIDIAもこの高い処理能力を生かして、ChatGPTなどで話題を集める生成AIへの対応を含めた大幅な機能拡張を行う方針を示している。

　マクニカの展示は、エッジデバイスによる生成AIの利用を分かりやすい形で示す内容になっている。ハードウェアとしてはJetson AGX Orinで最上位となる64GBメモリモデルを用いており、生成AIモデルにはMetaの「Llama 2」をベースに商用利用可能な日本語LLM（大規模言語モデル）としてELYZAが開発した「ELYZA-japanese-Llama-2-7b」を実装している。

　70億パラメータのELYZA-japanese-Llama-2-7bのメモリフットプリントは約20GBであり、他のアプリケーションを含めて64GBメモリモデルのJetson AGX Orinであれば十分に余裕がある。また、NVIDIAによれば、Jetson AGX Orinの生成AI処理性能はインテルの最新サーバ向けプロセッサ「Xeon Platinum 8480+」の1.7倍ということで、マクニカの展示でも滑らかに動作していた。

⇒その他の「人工知能ニュース」の記事はこちら

Jetson Orinの生成AI処理性能はXeonの1.7倍、NVIDIAが“史上最大”の機能拡張へ
NVIDIAは、組み込み機器向けのエッジAI開発プラットフォームである「Jetson」について、生成AIへの対応を含めた大幅な機能拡張を行うと発表した。
「Jetson AGX Orin」のAI処理性能は275TOPSへ、「Jetson Orin NX」も発売
NVIDIAが最新の組み込み機器向けAIモジュールである「Jetson AGX Orin」の開発者キットの販売を開始すると発表。米国での価格は1999米ドル（約24万3000円）で、量産用モジュールは2022年第4四半期に399米ドルで入手可能になるという。
「Jetson Orin Nano」の開発者キットはエッジでトランスフォーマーモデルが動く
NVIDIAは、「GTC（GPU Technology Conference） 2023」において、組み込み機器向けAIモジュールの新製品「Jetson Orin Nano」の開発者キットを発表した。同年4月の出荷予定で、米国での価格は499米ドル。
NVIDIAがAMRとAOIの開発をフルスタックでカバー、工場向けソリューションを拡充
NVIDIAは、AMR（自律搬送ロボット）の開発に対応する「NVIDIA Isaac AMR」と、AOI（自動光学検査）向けのビジョンAIの開発を容易にする「NVIDIA Metropolis for Factories」を発表した。
ルネサスが次世代「DRP-AI」のデモを披露、試作チップのAI処理性能は80TOPSに
ルネサスエレクトロニクスは、同社のAIアクセラレータ「DRP-AI」のエンジニア向けイベント「Renesas AI Tech Day」において、2022年12月に発表した次世代DRP-AIを搭載する試作チップのデモンストレーションを報道陣に公開した。
AMDがROS対応のロボット開発キットでNVIDIAに対抗、開発期間を約5分の1に短縮
AMDは、SOM製品「Kria」の新たなラインアップとして、オープンソースのロボット開発フレームワーク「ROS 2」をネイティブでサポートする「Kria KR260ロボティクス・スターターキット」を発表。NVIDIAの競合ソリューションと比較して、ソフトウェア開発期間が約5分の1、消費電力1W当たりの性能が8倍以上、レイテンシが3分の1以下になるという。