エッジでも生成AIは可能、マクニカが「Jetson AGX Orin」に日本語LLMを実装：Edge Tech+ 2023

マクニカは、「EdgeTech+ 2023」において、NVIDIAの組み込みAIボード「Jetson AGX Orin」を用いてエッジデバイス上で生成AIモデルを動作させるデモを披露した。

[朴尚洙，MONOist]

　マクニカは、「EdgeTech+ 2023」（2023年11月15〜17日、パシフィコ横浜）において、NVIDIAの組み込みAI（人工知能）ボード「Jetson AGX Orin」を用いてエッジデバイス上で生成AIモデルを動作させるデモを披露した。

マクニカのエッジデバイスによる生成AIのデモ展示。「Jetson AGX Orin」に「ELYZA-japanese-Llama-2-7b」を実装しており、マイクから入力した日本語音声を認識できるようになっている［クリックで拡大］

　Jetson AGX Orinは、NVIDIAが2022年3月に発表した組み込みAIボードで、従来モデルの「Jetson AGX Xavier」と比べて8倍以上となる最高275TOPS（1TOPSは毎秒1兆回の演算性能）の処理性能を備えている。NVIDIAもこの高い処理能力を生かして、ChatGPTなどで話題を集める生成AIへの対応を含めた大幅な機能拡張を行う方針を示している。

　マクニカの展示は、エッジデバイスによる生成AIの利用を分かりやすい形で示す内容になっている。ハードウェアとしてはJetson AGX Orinで最上位となる64GBメモリモデルを用いており、生成AIモデルにはMetaの「Llama 2」をベースに商用利用可能な日本語LLM（大規模言語モデル）としてELYZAが開発した「ELYZA-japanese-Llama-2-7b」を実装している。

　70億パラメータのELYZA-japanese-Llama-2-7bのメモリフットプリントは約20GBであり、他のアプリケーションを含めて64GBメモリモデルのJetson AGX Orinであれば十分に余裕がある。また、NVIDIAによれば、Jetson AGX Orinの生成AI処理性能はインテルの最新サーバ向けプロセッサ「Xeon Platinum 8480+」の1.7倍ということで、マクニカの展示でも滑らかに動作していた。

⇒その他の「人工知能ニュース」の記事はこちら