エッジでも生成AIは可能、マクニカが「Jetson AGX Orin」に日本語LLMを実装Edge Tech+ 2023

マクニカは、「EdgeTech+ 2023」において、NVIDIAの組み込みAIボード「Jetson AGX Orin」を用いてエッジデバイス上で生成AIモデルを動作させるデモを披露した。

» 2023年11月21日 07時30分 公開
[朴尚洙MONOist]

 マクニカは、「EdgeTech+ 2023」(2023年11月15〜17日、パシフィコ横浜)において、NVIDIAの組み込みAI(人工知能)ボード「Jetson AGX Orin」を用いてエッジデバイス上で生成AIモデルを動作させるデモを披露した。

マクニカのエッジデバイスによる生成AIのデモ展示 マクニカのエッジデバイスによる生成AIのデモ展示。「Jetson AGX Orin」に「ELYZA-japanese-Llama-2-7b」を実装しており、マイクから入力した日本語音声を認識できるようになっている[クリックで拡大]

 Jetson AGX Orinは、NVIDIAが2022年3月に発表した組み込みAIボードで、従来モデルの「Jetson AGX Xavier」と比べて8倍以上となる最高275TOPS(1TOPSは毎秒1兆回の演算性能)の処理性能を備えている。NVIDIAもこの高い処理能力を生かして、ChatGPTなどで話題を集める生成AIへの対応を含めた大幅な機能拡張を行う方針を示している。

 マクニカの展示は、エッジデバイスによる生成AIの利用を分かりやすい形で示す内容になっている。ハードウェアとしてはJetson AGX Orinで最上位となる64GBメモリモデルを用いており、生成AIモデルにはMetaの「Llama 2」をベースに商用利用可能な日本語LLM(大規模言語モデル)としてELYZAが開発した「ELYZA-japanese-Llama-2-7b」を実装している。

 70億パラメータのELYZA-japanese-Llama-2-7bのメモリフットプリントは約20GBであり、他のアプリケーションを含めて64GBメモリモデルのJetson AGX Orinであれば十分に余裕がある。また、NVIDIAによれば、Jetson AGX Orinの生成AI処理性能はインテルの最新サーバ向けプロセッサ「Xeon Platinum 8480+」の1.7倍ということで、マクニカの展示でも滑らかに動作していた。

⇒その他の「人工知能ニュース」の記事はこちら

Copyright © ITmedia, Inc. All Rights Reserved.