　生成AIの代表的なアプリケーションとなるのがLLM（大規模言語モデル）である。LLMを用いたアプリケーション開発では、市販の生成AIサービスをそのまま用いる場合やプロンプトエンジニアリグによる最適な活用の他、既存の生成AIモデルにドメイン固有情報を追加して学習するファインチューニングや再学習などの選択肢もある。ただし、コストや開発の複雑性のバランスから、現時点で最も有力な選択肢になっているのがドメイン固有情報からデータベースを構築し既存の生成AIモデルと組み合わせて使用するRAGである。

LLMを用いたアプリケーション開発にはさまざまな手法があるが、コストや開発の複雑性のバランスから「RAG」を選ぶことが多い［クリックで拡大］出所：NXPジャパン

　eIQ GenAIフローではLLMのRAGによる最適化を可能とする機能を備えている。例えば、家電に利用説明書に関する質問などに回答するAIエージェントを組み込む場合は、自然言語認識や一般的な受け答えにはオープンソースなど既存のLLMを用い、家電の使い方に関する質問にはRAGで構築したデータベースを読み出して回答する。

「eIQ GenAIフロー」はRAGによるLLMの最適化が可能だ［クリックで拡大］出所：NXPジャパン

家電に組み込むAIエージェントによる説明書機能のイメージ［クリックで拡大］出所：NXPジャパン

　eIQ GenAIフローでサポートするRAGは、LLMとは分離したデータベース形式で管理するためセキュアなチューニングが可能だ。NXP製品向けの最適化も行ってくれる。なお、eIQ GenAIフローは今後、音声の入出力がメインとなるLLMだけでなく画像や動画にも対応しマルチモーダルで利用できるようになるという。

「eIQ GenAIフロー」のRAGによるLLMのチューニング［クリックで拡大］出所：NXPジャパン

エッジ機器で会話式のHMIが可能になる［クリックで拡大］出所：NXPジャパン

　なお、RAGと組み合わせて使用するLLMとしては、いわゆるパラメーター数が10億台（ビリオンクラス）となる、Llama2-7BやLlama3-8B、Phi-3 Miniなどが想定されている。

⇒その他の「人工知能ニュース」の記事はこちら

エッジであれエンドポイントであれ今こそ現場にAIを実装すべし
2023年に大きな注目を集めた生成AIは、膨大なパラメータ数とあいまってAIモデルをクラウド上で運用することが一般的だ。2024年は、AIモデルを現場側に実装するエッジAIやエンドポイントAIを活用するための技術が広く利用できるようになるタイミングになりそうだ。
「マイコンでAI」に現実味、Armとともに可能性を追求へ
「第8回 AI・人工知能EXPO 【春】」の「小さく始めるAIパビリオン」に、Arm、STマイクロエレクトロニクス、ルネサスエレクトロニクス、AIスタートアップのエイシングが出展し、マイコンを用いたAI活用に関する展示を披露した。
「マイコンでAI」、STマイクロNXPルネサスが競演
「第7回 AI・人工知能EXPO 【春】」の「小さく始めるAIパビリオン」に、STマイクロエレクトロニクス、NXPセミコンダクターズ、ルネサスエレクトロニクスが出展し、マイコンによるAI活用をテーマにしたデモ展示を披露した。
NXPがNVIDIAと協業、ML開発環境「eIQ」に「TAO Toolkit」の機能を統合
NXP Semiconductorsは、NVIDIAとの協業を発表した。NVIDIAのAIツールキット「NVIDIA TAO Toolkit」が同社のエッジデバイスで利用可能になることで、AI導入が加速する。
「マイコンでAI」は画像認識へ、Armが処理性能4TOPSの「Ethos-U85」を発表【訂正あり】
Armは、マイコンなどを用いた組み込み機器でエッジAIを可能にする第3世代NPU「Ethos-U85」を発表。第2世代の「Ethos-U65」と比べて4倍となる最大4TOPSのAI処理性能を実現し、リアルタイムでの画像認識も行えるとする。
インフィニオンが非車載マイコンをPSoCブランドに統合、エッジAIにも対応
インフィニオンテクノロジーズジャパンが、IoT向けマイコンと無線通信ICに関する事業戦略を説明。エッジAI向けマイコン「PSoC Edge」を皮切りに、同年内に「PSoC Control」「PSoC Connect」を順次投入し、非車載マイコンをPSoCブランドに統合する方針だ。