モバイル端末の画面入力をAIが代行 パナソニックが業務支援向け世界モデルを開発:人工知能ニュース

パナソニック ホールディングス(パナソニックHD)は、スマートフォンなどのモバイル端末上の業務をAIが先を予測しながら支援する世界モデルを開発したと発表した。

» 2026年11月11日 06時30分 公開
[坪田澪樹,MONOist]

 パナソニック ホールディングス(パナソニックHD)は2026年10月21日、オンラインで会見を開き、スマートフォンなどのモバイル端末上の業務をAI(人工知能)が先を予測しながら支援する世界モデル(環境の状態や変化の仕組みを学習し、現在の状況や行動に応じて、その後の状態を予測するモデル)を開発したと発表した。

 今回の取り組みはパナソニックHDとパナソニック R&D カンパニーオブアメリカ(以下、PRDCA)がカリフォルニア大学ロサンゼルス校(以下、UCLA)の研究者らと共同で実施した。世界モデルを学習するための約140万件の学習データセット「MobileWorld」と、その性能を評価するベンチマーク「MobileWorldBench」を構築し、AIエージェントのモバイル端末操作の成功率を向上させることに成功している。

研究の概要[クリックで拡大] 出所:パナソニックHD

 PRDCA AI Laboratory Senior Research Engineerの加藤祐介氏は「パナソニックHDでは、AIエージェントを活用して社内業務の効率化/自動化に取り組んでいる。社内の業務システムは、人が画面を見て入力する項目やボタンを選んで、その都度結果を確かめてから次の手順に進むという操作を行っている。今後こうした社内独自システムの運用をAIエージェントに任せていくためには、システム内の操作が何を意味して画面がどう変わっていくのかという内容を都度理解して、次の行動につなげていく必要がある」と説明する。

画面を予測する従来の世界モデルの課題[クリックで拡大] 出所:パナソニックHD

 このような背景の中で構築されたのが、MobileWorldだ。同データセットは、Android端末での人間の操作軌跡を基に、操作内容や操作前後の画面、画面変化の説明、次状態に関する質問/回答などを記録している。画面変化を説明するデータ約94.2万件と、質問/回答データ約54.3万件を含んでおり、VLM(視覚言語モデル)を用いてデータを生成/自動選別し、一部のデータは人手でも検証を行った。

 MobileWorldを用いて追加学習したオープンソースVLMである「Qwen3-VL-8B-Instruct」をMobileWorldBenchで評価し、予測文を「正確さ」「完全さ」「関連性」の3つの観点で採点した結果、既存手法と比較して最も高いスコアを獲得したという。

世界モデルの性能比較[クリックで拡大] 出所:パナソニックHD

 併せて、開発した世界モデルをAIエージェントに組み込み、AIエージェントにAndroid端末上のタスクを実行させてタスク成功率を評価するベンチマークである「AndroidWorld」と、PCのWebブラウザを操作させてタスク成功率を評価する「WebVoyager」を用いた検証を実施した。その結果、Android環境ではAIエージェント単独(Qwenのみ)でタスクを走らせた時の内容と比較してタスク成功率が46.9%から54.3%に向上したという。Webブラウザ環境でも、45.4%から49.3%に向上している。

AIエージェントの性能比較[クリックで拡大] 出所:パナソニックHD

 加藤氏は「今回学習データに使用したものはAndroidアプリの操作データだけで、PCのWebブラウザのデータはない状態であったが、ある種未見の環境に対して精度が向上していた。これは1つの仮説だが、今回われわれが開発した世界モデルは、操作による画面の変化を画像ではなく言葉で説明しているため、モバイルの操作とWebの操作の違いをうまく吸収でき、結果的に性能向上につながったのではないか」と分析する。

 パナソニックHDは今回開発した技術を設備管理や部品在庫、作業記録などの複数のアプリケーションを横断する業務に応用し、熟練者の知識や判断を生かしたAIエージェントによる現場の業務負担の軽減を目指す。スマートフォンやWebサイト、PCアプリケーションへの適用可能性も検証し、社内の幅広い業務を支援するAI技術として、研究開発を進める方針だ。

⇒その他の「人工知能ニュース」の記事はこちら

Copyright © ITmedia, Inc. All Rights Reserved.

特別協賛PR
スポンサーからのお知らせPR
Pickup ContentsPR
Special SitePR
あなたにおすすめの記事PR