車載SoCでトランスフォーマーを推論実行、パナソニックオートが100倍に高速化：EdgeTech+ 2024

パナソニック オートモティブシステムズは、「EdgeTech+ 2024」において、トランスフォーマーをベースにしたAIモデルを車載SoCで高速に処理する技術を披露した。雨や霧などの悪天候の影響をカメラ画像から除去するAI処理について、同技術の適用前と比べて約100倍の高速化を実現したという。

[朴尚洙，MONOist]

　パナソニック オートモティブシステムズは、「EdgeTech+ 2024」（2024年11月20〜22日、パシフィコ横浜）において、生成AI（人工知能）の主要構成要素であるトランスフォーマーをベースにした推論モデルを車載SoCで高速に実行する技術を披露した。雨や霧などの悪天候の影響をカメラ画像から除去するAI処理について、同技術の適用前と比べて約100倍の高速化を実現し、自動車操作系システムの要件で求められる10fpsを達成している。

パナソニック オートモティブシステムズによる車載SoCへのトランスフォーマーモデル適用のデモ。ほぼリアルタイムで雨や霧などの悪天候の影響をカメラ画像から除去できている［クリックで再生］

　展示では、悪天候下で走行中の車両前方のカメラ映像をディスプレイに表示した上で、この映像をカメラで撮影してトランスフォーマーベースのAIモデルの推論実行を行い、ほぼリアルタイムで雨や霧などの悪天候の影響をカメラ画像から除去するデモンストレーションを披露した。AIモデルの推論実行は、AI処理性能が約1TOPSとなるクアルコムの車載SoC「SA8155」を用いている。

悪天候の影響をカメラ画像から除去した画面例［クリックで拡大］ 出所：パナソニック オートモティブシステムズ

　そもそもこのトランスフォーマーベースのAIモデルは、パラメーター数などの関係でそのまま車載SoCに組み込むことができない。そこでまずは、車載SoCに合わせてパラメーター数を最適化するとともに、AIモデルの軽量化で一般的に用いられる枝刈りや量子化などの技術も適用して組み込み可能な状態にした。推論精度は90％以上を確保したものの、画像を1枚処理するのに10秒以上かかるため（0.1fps以下）、自動車操作に対応するリアルタイム性はない。

　ここからさらに高速化するために、トランスフォーマーモデルの処理で多く行われる3次元から4次元、4次元から3次元などの次元変換を極力減らすような最適化を施した。これによって、10fps以上の高速化を実現している。

　なお、これまで車載開発に適したAIモデルの開発には約1年を要していたが、今回の高速化技術開発と併せて、要件定義やアルゴリズム開発、AIの実装／評価にかかる期間を短縮し最短1カ月で開発を完了できるような体制も構築したとする。

開発技術の説明パネル［クリックで拡大］ 出所：パナソニック オートモティブシステムズ

　同社の説明員は「車載SoC上で他の処理を行うことも考えると、20〜30fpsくらいまで性能を向上する必要がある。ただ、今後の車載SoCのAI処理性能が大きく伸びていくことを考慮すると十分達成できるだろう。開発した技術は今後3〜5年で実用化につなげたい」と述べている。

⇒その他の「車載ソフトウェア」の記事はこちら