「この動画に何が映っている？」、生成AIを助けるプロンプトを開発：車載ソフトウェア

日立製作所は車載カメラの動画に関する説明文を自動生成する技術を開発した。動画のデータベースから必要なシーンを含むものを自然言語で検索できるようになり、ADASや自動運転システムの開発に使うデータを抽出する時間を大幅に短縮するとしている。

[齊藤由希，MONOist]

　日立製作所は2023年11月21日、車載カメラの動画に関する説明文を自動生成する技術を開発したと発表した。動画のデータベースから必要なシーンを含むものを自然言語で検索できるようになり、ADAS（先進運転支援システム）や自動運転システムの開発に使うデータを抽出する時間を大幅に短縮するとしている。

　既に基本的な開発は完了しており、複数の生成AI（人工知能）モデルやクラウド環境への対応を進めて2024年9月までの実用化を目指す。

開発技術の概要［クリックで拡大］ 出所：日立製作所

データの準備に費やす時間が80％

　ADASや自動運転システムの開発では、実際に公道などを走行して収集したデータが活用されている。機能がカバーすべき場面や不具合が起きるシーンなど特定のデータを重点的に使用するため、データベースから必要な動画を見つけやすいことが重要だ。

　データベースに保存する前の前処理は、車両の制御系の情報など数値で記録できる構造化データであれば容易だが、カメラをはじめとするセンサーの情報は非構造化データであるため、後から検索するために必要なアノテーションや説明文の付与に膨大な時間がかかる点が課題となっている。ソフトウェア開発では機械学習のプロジェクトにおける80％の時間がこうしたデータの準備に費やされているという。

収集したデータが整理され、分析に活用されるまでの流れ［クリックで拡大］ 出所：日立製作所

　現在、動画データに説明文を付与する方法は手作業での文章作成が主で、先進的な企業ではAIによる物体検出／分類を活用して自動化を進めている。手作業で作成された文章は分かりやすい半面、作成に時間がかかり、担当者によるばらつきが大きいのがデメリットだ。AIによる物体検出／分類は自動化できるのがメリットだが、収集した動画データがどのような場面であるかまでは説明できない。

　生成AIであれば自動で説明文を出力できるが、必要な走行シーンを含むデータを後から検索する際には不十分だという。例えば、車両や歩行者などさまざまな情報を含む市街地の交差点の画像に対し、生成AIは「建物の横を歩く人」としか説明文を出力しない場合がある。

　日立製作所が開発した技術は、生成AIが開発者にとって十分な説明文を出力できるよう、「交通状況理解プロンプト」が支援する。プロンプトは、走行場面が路上、高速道路、駐車場のうちどれか、画像にクルマが含まれているか、クルマは動いているか、前進しているか後退しているか、自転車はいるか……などシーンの判別に必要な情報を特定する。現在、交通状況理解プロンプトは特許を出願中だ。

　生成AIが「建物の横を歩く人」という説明文を出力した画像に対し、交通状況理解プロンプトを含めることで「あなたは市街地の道路を運転しており、交差点に近づいています。横断歩道で歩行者が歩いており、道路を横断しています。また、道路上には白いクルマがいて、あなたの前を走行しています」と、開発者の検索に必要なキーワードが含まれる生成文を出力することができる。

開発者にとって意味のあるキーワードが含まれた説明文を生成できる［クリックで拡大］ 出所：日立製作所

　この生成文を説明文として付与することで、自社のデータベースにある動画を自然言語で検索することが可能になる。検索結果の中から動画のサムネイルや検索文との一致率を見て選択できる他、関連するシーンの検索にも対応した。長時間撮影した動画データの中から、開発に使用したいシーンのみをピンポイントで検索することもできる。

　2024年からは車載カメラの動画データだけでなく、防犯カメラや工場内のカメラなどさまざまな画像データを対象に生成AIの活用を検討していく。

　日立製作所の開発担当者は「生成AIのモデルは日々性能が上がっているが、これは地頭がよくなっているのだとみている。今回のように特定の用途に向けた説明や解釈を的確に行うには、追加知識やノウハウなど“ドメインナレッジ”を組み合わせる必要がある」とコメントしている。

→その他の「車載ソフトウェア」関連記事はこちら