WebフォームからAIの暴走を狙うサイバー攻撃とは何か リスク対策の鍵は「AI-CAL」：人工知能ニュース（1/3 ページ）

トレンドマイクロの法人向けブランドであるTrendAIとPwCコンサルティングは、両社の共同レポートである「自律するAIの時代：AIエージェントのサイバーリスクと実践的ガバナンス」の内容について説明した。Webフォームから悪意のあるプロンプトを含んだ文章や画像を送信することで、AIエージェントに不正な処理を実行させる攻撃手法や、AIエージェントのリスクに備えた体系的な対策について紹介した。

[坪田澪樹，MONOist]

　トレンドマイクロの法人向けブランドであるTrendAIとPwCコンサルティングは2026年7月17日、オンラインでメディア向けセミナーを開催し、両社の共同レポートである「自律するAIの時代：AIエージェントのサイバーリスクと実践的ガバナンス」の内容について説明した。

AIエージェントが意図しない動きを実行　新たなサイバーリスクとは

　近年、AI（人工知能）が人間の代理人となって状況を判断し、自律的に行動するAIエージェントが進化を続けている。AIエージェントを導入して業務の効率化を図るなど、AIを活用したさまざまな取り組みを各企業が進めている。一方、AIエージェントを悪用したサイバー攻撃が発生するといったセキュリティリスクが高まっており、対策が必要だ。

　AIエージェントが持つ自律性のレベルは全部で6段階に分けることができ、ビジネスケースや自律レベル、設計、実装、運用に応じてさまざまなサイバーリスクが存在している。特に自律レベル4以上から、従来のセキュリティ対策では対応できない新たなリスクが急増している。

　PwCコンサルティング トラストコンサルティング事業部 執行役員 パートナーの村上純一氏は「AIエージェントのような行動するAIのレベルになると、AIエージェントが意図しない行動をしてしまう、決められたルールやポリシーでは想定していないエッジケースを悪用され、AIエージェントが意図しない／望まない行動を引き起こすなどといった問題が発生する」と語る。

AIエージェントの自律レベルによって想定されるサイバーリスク［クリックして拡大］ 出所：PwCコンサルティング

　このような背景を踏まえ、TrendAIはAIエージェントを対象とした保存型プロンプトインジェクション攻撃を想定した実証実験を実施した。

　プロンプトインジェクション攻撃とは、AIに対して悪意のある指示を埋め込み、本来の動作をゆがめる攻撃手法だ。攻撃者が悪意のあるプロンプトを直接AIに送る「直接的プロンプトインジェクション」と、攻撃者が間接的に悪意のある指示をAIに送る「間接的プロンプトインジェクション」の2種類が存在し、今回の保存型プロンプトインジェクションは、後者の間接的プロンプトインジェクションの一種となる。

Webフォームを悪用してAIに不正な処理を実行させる攻撃事例を紹介

　セミナーでは保存型プロンプトインジェクション攻撃の実証実験の結果として、Webフォームの問い合わせを悪用した事例と、本人確認などで活用されているKYC文書処理システムを悪用した事例を紹介した。

　Webフォームの問い合わせを悪用した事例では、外部の顧客がWebフォームで問い合わせ内容を入力し、その内容をAIエージェントがデータベースから読み取り、緊急度を分類して対応優先度を設定するPoC（概念実証）システムで実証実験を進めた。なお、外部からはAIエージェントにアクセスできないような仕組みになっている。

実証実験で使用したシステムの概要［クリックして拡大］ 出所：TrendAI

　実証実験では、まず攻撃者が顧客のWeb問い合わせフォームにアクセスし、細工を施した文章をシステム側に送信した。この細工した文章はそのままデータベースに保存され、AIエージェントが優先度を設定するために、通常の処理と同様にデータベースに存在する問い合わせ内容を確認する。このタイミングで細工した文章がAIエージェントによって処理されることで、不正な命令が勝手に実行され、最終的にデータベースの情報を外部に流出させたという。

攻撃者によるプロンプトの内容と、実行されたデータベース操作［クリックして拡大］ 出所：TrendAI