　LLM App on Actcastは、クラウド上のLLMを活用して、エッジデバイス上で利用できるアプリケーションだ。疑似的なアプリ設計が可能で、自然言語でプロンプトを入力できるため、非エンジニアでも簡単に検証できる。提供開始時点では、OpenAIの「ChatGPT」などクラウドLLMのAPIを利用して、AIカメラなどエッジデバイスで撮影した画像に対する推論ができる。

「LLM App on Actcast」のアプリ設定画面例［クリックで拡大］出所：Idein

　企業がビジネスへのAI導入を検討する際、ビジネス価値や効果の検証よりも、ML（機械学習）モデルの精度向上などを重視してしまい、運用を踏まえた検証に進めないままPoC（実証実験）が終了することも多い。LLM App on Actcastは、PoC用ソフトウェアをプロンプトエンジニアリングで代替することで、最低限の手間とコストでビジネス価値の検証に注力できる。

「LLM App on Actcast」で可能になる、概念検証やアプリ開発のフロー［クリックで拡大］出所：Idein

　小売業界での利用イメージとして、店舗の状況を遠隔で確認したい場合を挙げる。店舗責任者が店内の状況説明を求めるプロンプトを入力すると、店内のAIカメラが撮影した画像をもとに、商品の陳列に問題がないか、商品の補充が必要かどうかをLLM App on Actcastが判別し、荷出しなど必要な作業についてのコメントが得られる。

「LLM App on Actcast」を使ったプロンプトと出力のイメージ［クリックで拡大］出所：Idein

　今後、Ideinはパートナー企業との協業を拡大し、さまざまな分野に向けてエッジAIの実装を進める。

⇒その他の「人工知能ニュース」の記事はこちら

エッジであれエンドポイントであれ今こそ現場にAIを実装すべし
2023年に大きな注目を集めた生成AIは、膨大なパラメータ数とあいまってAIモデルをクラウド上で運用することが一般的だ。2024年は、AIモデルを現場側に実装するエッジAIやエンドポイントAIを活用するための技術が広く利用できるようになるタイミングになりそうだ。
エッジでも生成AIは可能、マクニカが「Jetson AGX Orin」に日本語LLMを実装
マクニカは、「EdgeTech+ 2023」において、NVIDIAの組み込みAIボード「Jetson AGX Orin」を用いてエッジデバイス上で生成AIモデルを動作させるデモを披露した。
クアルコムのSoCに独自LLMを組み込み、エッジ生成AIでIoT事業の成長を加速
サンダーソフトジャパンは、中国サンダーソフトと米国クアルコムの両社が合弁でSOM製品を中心としたIoT向けプラットフォームを展開しているサンダーコムの事業について説明した。
AIモデルとエッジデバイス管理の技術を融合、エッジAIソリューションを提供へ
IdeinとAWLは、エッジAIソリューションの提供に向けて、業務提携契約を締結した。AWLが持つAIモデル開発技術と、Ideinのエッジデバイスの大規模運用および管理技術を融合する。
「控えめに言って性能はラズパイの100倍」IdeinとアイシンがAIカメラを開発
エッジAIスタートアップのIdeinは、新製品となるAIカメラ「AI Cast」を発表した。ハードウェアの開発と製造はアイシンが担当し、2.5Wの低消費電力ながら26TOPSのAI処理性能を持つAIチップを搭載している。
ラズパイでそのまま動くが優位性に、エッジAIのIdeinがアイシンとの協業を深化
AIスタートアップのIdeinがエッジAIプラットフォーム「Actcast」の事業展開を紹介。会見には協業パートナーのアイシンも登壇し、これまでの開発成果に加え、自動バレー駐車システムや、自動運転バスなどへの搭載を想定しているマルチモーダルエージェント“Saya”の開発状況を説明した。