パナソニックが画像認識マルチモーダル基盤を刷新、HIPIEからSegLLMへ：人工知能ニュース（2/2 ページ）

パナソニック ホールディングスはテキストと参照画像を用いて未学習の物体も指示できる対話型セグメンテーション技術を開発した。

[齊藤由希，MONOist]

　パナソニック ホールディングス DX・CPS本部 デジタル・AI技術センター AIソリューション部 1課 シニアエンジニアの加藤祐介氏は「SegLLMはモデルのサイズとしてはかなり小さいので、それに合わせた適切な複雑さのテキストでなければ部分的な単語に反応したり、コンテキストを反映できなかったりする。マルチモーダルモデルはLLMと他のモデルも学習するため規模を大きくするのが難しい。学習自体が困難になる」と説明した。

　一見すると既存の手法でもプロンプトを分割すれば検知精度を高められるようにみえるが、対話結果を保持できないので、長文だけでなく、対話的なやりとりでもセグメンテーション性能が低下する。開発したSegLLMは、複数ラウンドの対話であってもセグメンテーション性能が保たれるが、かなり長い対話にも対応できるというわけではない。

セグメンテーション性能の評価結果。SegLLMもラウンドを繰り返すうちに性能が低下するが、既存手法より抑制できる［クリックで拡大］ 出所：パナソニック ホールディングス

　パナソニック ホールディングス DX・CPS本部 デジタル・AI技術センター AIソリューション部 1課課長の小塚和紀氏は「この物体の中のこれ、さらにその中にあるこれ……というように対話を繰り返すほどセグメンテーションの難易度が高まる。それはSegLLMでも同様だが、従来の手法では2ラウンド目でも壊滅的に低下するので、それに比べて改善できている」と説明する。

2025年度中に社内展開

　SegLLMはまずは2025年度中に自社で活用する既存の独自アノテーションツールに導入し、パナソニックグループの各事業での複雑なシーンへの対応に活用していく。

　現在導入しているアノテーションツールは、冷蔵庫の中にある野菜をAIで検知するサービスに使われている。ツールで自動化することで、対象物1点のアノテーションにかかる時間を60秒から5秒に短縮できている。今後は冷蔵庫など家電以外にも展開していくが、工場や流通の現場では検知対象が冷蔵庫の中身よりも難易度が高い。そこでSegLLMを活用する。

　SegLLMのアップデートも同時並行で進める。パナソニック専用のマルチモーダルモデル「Panasonic-LLM-100b」で、SegLLMと内部のLLMを置き換えることにより、パナソニックグループの業務に最適化していく。Panasonic-LLM-100bはハルシネーションや日本語に強く、パナソニックグループの業務内容に関して回答できる。現場に合わせたモデルのカスタマイズにも対応している。置き換えによる性能向上は確認済みだ。

従来のセグメンテーションLLMとの違い

　従来のセグメンテーションLLMは、入力画像に対して画像エンコーダーやコネクターを通して画像の内容をLLMで扱えるように特徴化し、変換する。テキストプロンプトは、トークナイザーによってLLMで扱える単位に分割する。セグメンテーションはこうして入力された画像とテキストを組み合わせて画像の中の領域を当てる問題を設定する。テキストと画像の関係が分かりにくくなると性能が低下してしまう。

　新開発のSegLLMでは、画像プロンプトを処理するマスクエンコーダーを追加することで、最初の指示で検知した領域の画像を次のプロンプトに使えるようにした。

従来技術とSegLLMの違い［クリックで拡大］ 出所：パナソニック ホールディングス

　対話型のセグメンテーションデータはこれまで非常に規模が小さく、対話のバリエーションが少ないという課題があった。そこで、既存の対話型ではないデータセットから物体同士の位置関係や相互関係、階層的な関係を問うさまざまなバリエーションのデータセットを自動作成した。

　人とモノの関係性を表したラベルや、画像の中でどこに何が映っているか位置情報を表すラベルを活用し、その中の特定の単語だけを入れ替えて会話風のデータに変換。LLMで対話の表現や文法を自然なセンテンスに修正し、対話のデータセットを自動で作成した。これにより、対話文120万、画像70万、対話長最大19の学習データセットを作成できたという。

　アカデミアの分野では、新たな研究分野に資するデータの提供を高く評価する。データセットの提案により研究コミュニティーへの貢献が評価され、AI分野のトップカンファレンス「ICLR2025」に採択された。

→その他の「人工知能ニュース」関連記事はこちら