サーバクラスの処理性能がエッジAIに、「Jetson AGX Orin」の力を引き出すには：エッジAI

リアルタイム性などが求められる製造業のAI活用で注目を集める「エッジAI」。このエッジAIの“本命”として期待されているのがNVIDIAの「Jetsonシリーズ」の最新モデル「Jetson AGX Orin」と「Jetson Orin NX」だ。製造業にJetsonシリーズを提案してきたマクニカも、サーバクラスのAI処理性能を実現するJetson AGX OrinとJetson Orin NXの活用を促進すべく、さらに活動を加速させている。

[PR／MONOist]

　製造業のAI（人工知能）活用で注目を集めているのが「エッジAI」だ。現在、製造業が提供するさまざまな機器は通信機能を搭載するのが一般的で、既にIoT（モノのインターネット）機器として利用可能になっており、クラウド上の計算資源を使ったAI処理も可能になっている。

　しかし、クラウドを用いたAI処理は通信のタイムラグもあって、リアルタイム性が求められる用途では十分な応答性能を得にくい。また、機密性の高いデータを外部に置くことへのセキュリティ面での懸念もある。特に、自動車や産業機器などでは、リアルタイム性とセキュリティという課題がさらにクローズアップされる機会も多い。クラウドにデータを送ることなく現場の機器上でAIを実行できるエッジAIは、これらの課題に対応できるので、製造業のAI活用で重要な役割を果たすとみられているのだ。

エッジAIを組み込み機器で実現する「Jetsonシリーズ」

　このエッジAIを組み込み機器で実現するために開発されたのがNVIDIAの「Jetsonシリーズ」だ。NVIDIAは、3Dグラフィックスなどの画像処理に特化したGPUのメーカーとして知られるが、GPUはAI処理に必要な演算を高速に実行できるため、画像処理の他にAIの分野でも広く利用されている。Jetsonシリーズでは、NVIDIAが得意とするGPUとArmのCPUを搭載しており、エッジAIの処理に必要な高い演算性能に加えて、組み込み機器の制御に求められる機能やインタフェースが集積されている。

マクニカ クラビス カンパニー 第1技術統括部 技術第3部 第1課の広田勇貴氏

　このハードウェアとしての優れた性能以上に、Jetsonシリーズの強みになっているのが充実したAIをはじめとするソフトウェアの開発環境である。Jetson製品の導入支援や開発、サポートなどを手掛けるマクニカ クラビス カンパニー 第1技術統括部 技術第3部 第1課の広田勇貴氏は、Jetsonシリーズの優位性について、「ソフトウェアの開発を短時間で行える土台があること」と語る。

　例えば、一般的な半導体メーカーが提供する組み込みボードの場合、ソフトウェア開発キット（SDK）のみが用意され、それ以降のソフトウェア開発はユーザー側が独自に行わなければならない。当然ながら何回もの試行錯誤が必要であり、開発にも多くの時間がかかる。

　Jetsonの場合、基盤となるSDKとして「JetPack」があるが、開発するAIの用途に合わせたSDKも整備している。例えば、IVA（インテリジェントビデオ分析機能）アプリケーション向け「NVIDIA DeepStream SDK」は、ビデオなどのデータをディープラーニングを用いて効率よく解析し、多彩なセンサーにも対応するとともに、幅広いIVAの用途に向けた開発をスピーディーに行えるようになっている。

　さらに、NVIDIAのGPUが既に多くのAIの開発で利用されており、その過程で生まれたライブラリやソフトウェアがOSS（オープンソースソフトウェア）として公開されていることや、日本も含めた世界中にあるコミュニティーの充実も大きなメリットになる。既に完成しているOSSを利用することで、ソフトウェアの開発期間をさらに短縮できる。また、開発した製品を量産する際には、製品開発で用いる開発者キットと同じ機能を持つSOM（System on Module）を利用できるので、さらなる開発期間の短縮につなげられる。

サーバクラスの処理性能に匹敵する「Jetson AGX Orin」

　期待が高まるこのエッジAI市場において、“本命”ともいえる高い性能を引っ提げて投入されたのがJetsonシリーズの最新モデル「Jetson AGX Orin」と「Jetson Orin NX」だ。従来モデルである「Jetson AGX Xavier」と「Jetson Xavier NX」の後継となる。

「Jetson AGX Orin」（左）と「Jetson Orin NX」（右）［クリックで拡大］ 出所：マクニカ

　Jetson AGX Orinは、従来モデルのJetson AGX Xavierに対してAIの処理性能を大幅に高めながら、電力効率にも優れているのが大きな特徴となる。AI処理性能は最大で275TOPS（1TOPSは毎秒1兆回の演算性能）であり、これはサーバクラスの処理性能に匹敵する。より小型のSO-DIMMコネクターベースのモジュール基板を用いているJetson Orin NXも100TOPSの処理性能を備えている。

　広田氏は「製造現場で稼働するロボットは、カメラやLiDARなどを含めて多くのセンサーを搭載しています。そこから得られるデータを活用した高いリアルタイム性を持つエッジAIを実現するには、極めて高いAI処理性能が必要であり、従来モデルのJetson AGX Xavierでは不足する場合もありました。しかし、サーバクラスのAI処理性能を持つJetson AGX Orinであればそのような心配は不要です」と説明する。

　GPUアーキテクチャを従来の「Volta」から進化した最新の「Ampere」を採用したことで、圧倒的なAI処理性能を実現したJetson AGX Orinはユーザーに驚きを持って迎えられ、開発者のコミュニティーはエッジAIの適用範囲のさらなる広がりに期待しているという。また、従来モデルのJetson AGX Xavierと一定のピン互換性も有しており、Jetson AGX Xavierを用いて開発したエッジAI搭載機器をJetson AGX Orinに置き換えることも可能だ。

エッジAI開発のイメージ醸成に向け独自アプリケーションを開発

　NVIDIAは、組み込み機器向けのJetsonシリーズにもAmpereのような最新アーキテクチャを採用することで、サーバクラスという一足飛びのエッジAIの性能向上を可能にした。もちろん、その高いAI処理性能により、エッジAIで実現できることも急激に広がっている。マクニカは、Jetson AGX Orinの発売をきっかけに、製造業におけるエッジAIの活用をさらに促進するための活動を強化したい考えだ。

　これまでもマクニカは、Jetsonシリーズを用いたエッジAIの活用を促進するための啓蒙活動を行っている。その一例となるのが、マクニカが独自に開発したエッジAIのサンプルアプリケーションを使ったWebセミナーの開催だ。「Jetsonシリーズに関心があるお客さまの中にも、具体的なソフトウェアの開発手法やエッジAIの活用について迷いがあることを認識していました。また、Jetsonシリーズの導入に向けたアプリケーションの開発で苦戦している事例も把握していました」（広田氏）。

　このような顧客に対して、Jetsonシリーズを使ったエッジAIの利用例とアプリケーション開発のノウハウを具体的に提示するのが、エッジAIアプリケーションの独自開発とWebセミナー開催の狙いだった。

　マクニカが独自開発したエッジAIアプリケーションは3つある。コロナ禍での対策に活用できる「混雑検知システム」、物体検出を活用した「忘れ物検知システム」、監視カメラの映像処理による「侵入検知システム」だ。これらはいずれもGitHub上で、OSSとして公開されている。

マクニカが独自開発エッジAIアプリケーションの第1弾「混雑検知システム」と第2弾「忘れ物検知システム」の画面例［クリックで拡大］ 出所：マクニカ

マクニカが独自開発エッジAIアプリケーションの第3弾「侵入検知システム」のイメージ［クリックで拡大］ 出所：マクニカ

　Webセミナーは、これら3つのアプリケーションを題材に、「アルゴリズム選定」や「Jetson実装」「デプロイメント」など、対応する開発プロセスごとに回を分けて、2020年から既に7回開催されている。

ソフト再利用性の高さも魅力、ハードウェア置き換えだけで性能が3.5倍に

　NVIDIAの方針もあり、製品アップデートのサイクルが早いJetsonシリーズだが、同じフォームファクターとピン互換性だけでなく、ソフトウェアの再利用性の高さにより、最新のハードウェアへの置き換えが容易なことも大きな特徴になっている。

　マクニカは、最新モデルのJetson AGX OrinとJetson Orin NX、従来モデルのJetson Xavier NXという3つのモジュールを用いて、独自開発エッジAIアプリケーションの一つである「忘れ物検知システム」を動かして、その性能差を評価している。稼働環境としては、SDKに最新の「JetPack 5.0.1」のデベロッパープレビューを使用し、電力モードは各モジュールの最大パワーとした（未発売のJetson Orin NXについては、Jetson AGX Orin開発者キットのエミュレーションモードを使用）。

「Jetson AGX Orin」で実行した「忘れ物検知システム」の画面。同システムの仕組みとしては、部屋の中に人がいる場合は荷物を忘れ物とは判定せず（左）、部屋から人がいなくなっても荷物が残っている場合には忘れ物の可能性が高いと認識し（中央）、そこから一定時間が経過するとアラートを出す（右）。各画面の左上にある処理性能は70fpsを上回っている［クリックで拡大］ 出所：マクニカ

　それぞれのAI処理性能は、Jetson Xavier NXが20fpsだったのに対して、同じフォームファクターのJetson Orin NXが2.4倍の48fps、Jetson AGX Orinが3.5倍の70fpsとなった。広田氏は「ハードウェアを変更した以上、本来であればソフトウェアを最適化すべきだが、そういったことをしなくてもこれだけの性能向上が可能になる」と述べ、Jetson AGX OrinやJetson Orin NXの可能性に期待を込める。

　また、基本性能が高いJetson AGX Orinを使えば、映像データを取得するカメラの配置で柔軟性が増すなど運用面で多くのメリットがあるという。「画像検査などでJetsonシリーズを2台使っていたような場合、1台のJetson AGX Orinに集約できるのではないでしょうか」（広田氏）。

「Orin」の力を最大限に引き出す、マクニカの手厚いサポート

　これら高い性能を持つJetson AGX OrinやJetson Orin NXの力を最大限に引き出すには、利用するツールやソフトウェアの最適化に代表される知見が必要だ。例えば、開発に使用するSDKであるJetPackでは、量産モジュール用にリリースされたものを使う必要がある。デベロッパープレビュー版は評価用の早期リリース版であり、開発するアプリケーションに対して、まだ十分な最適化ができないことがあるからだ。

　例えば、エッジAIの高速処理を可能にするTensorRTやINT8、DLA（Deep Learning Accelerator）など、深層学習に特化したSDKやデータ型、アーキテクチャなどについて知見を深めておくことも重要だ。これらを知り、使い、開発から運用保守までのフィードバックを蓄積することで、最新技術の効率的な活用が可能になる。

　マクニカは、NVIDIAの製品を数多く扱うとともに、FA、ロボット、IVA、リテールなどの幅広い分野におけるJetsonシリーズの導入事例やサポート実績を積み重ねてきた。Jetsonシリーズの力を最大限に引き出した製品開発を行いたいのであれば、マクニカの知見やノウハウが大きな力になるだろう。

　また、大幅に性能を向上したJetson AGX Orinでは、ロボットのエッジAIで活用される機会も増えてきそうだ。この場合、NVIDIAのロボット開発プラットフォーム「NVIDIA Isaac」との連携や、リアルなシミュレーションを実行できるデジタルツイン環境「NVIDIA Omniverse」の利用も想定される。マクニカは、IsaacやOmniverseの活用についても、パートナーとの連携によって顧客を支えていく構えだ。

　先述した独自開発エッジAIアプリケーションの事例にもある通り、同社はJetson関連のセミナーを多数開催している。まずはそれに参加してみてはいかがだろうか。

製造現場のAI活用をテーマにしたオンラインセミナーを開催！

　マクニカが、製造現場の画像解析技術をテーマにしたオンラインセミナー「製造現場で活きるAI〜検知／検査自動化と最新画像解析テクノロジーの活用事例」を開催します（参加費無料）。詳細は以下のWebサイトをご確認ください。

開催日時：2022年7月29日（金）13：00〜14：30

Webサイト：https://www.macnica.co.jp/business/semiconductor/events/nvidia/141368/