　KYC文書処理システムを悪用した事例では、独自のPoCシステムを構築し、実証実験を進めた。顧客がパスポート画像を専用Webフォームにアップロードすると、その内容をOCRでテキストに処理しデータベースに保存後、AIエージェントが旅券情報（氏名や生年月日、番号など）を抽出／照合する。同システムも外部からはAIエージェントにアクセスできない仕組みとなっている。

実証実験で使用したKYC文書処理システムの概要［クリックして拡大］出所：TrendAI

　実証実験では、まず攻撃者が専用Webフォームにアクセスし、自然言語のプロンプトを埋め込んだパスポート画像をシステム側に送信した。OCRはこのプロンプトを悪意ある命令として識別できず、そのままデータベースに情報を保存してしまう。その後AIエージェントが処理を実行する際に、プロンプトを読み込むことで不正な命令が実行され、最終的に他の顧客のパスポート情報を流出させた。

攻撃者によるプロンプトを含んだパスポート画像の詳細［クリックして拡大］出所：TrendAI

　今回の実証実験では、悪意がある命令を埋め込んだテキストや画像がデータベースに一時的に保存され、時間が少し経過した後に不正な動作を実行するため検知が難しく、既存のシステムだけでサイバー攻撃を実施できてしまうことが判明した。

　トレンドマイクロセキュリティエバンジェリストシニア・スレット・リサーチャーの佐藤健氏は、「実証実験の結果、データベース接続型のAIエージェントに対して、保存型プロンプトインジェクション攻撃が有効であることが判明した。不正プログラムや特別な権限、内部アーキテクチャの知識を必要とせず、攻撃者は自然言語でデータの中に命令を埋め込むだけで攻撃が成立する」と語る。

　続けて、「今回の攻撃が成功した根本的な原因は『権限のギャップ』である。制約されたUIよりもAIエージェントに与えられたデータベースへのアクセス権限が強い場合、実証実験の結果、AIエージェントに与えられた権限能力をそのまま悪用できてしまうことを確認している。また、今回の実証実験は200種類のプロンプトを13種類のLLM（大規模言語モデル）で検証しており、複数のAIプロバイダーでこの攻撃の成功を確認した」と述べる。

実証実験の全体の概要［クリックして拡大］出所：TrendAI

AIエージェントのリスクに備えた体系的な対策「AI-CAL」とは

　AIエージェントを活用した新たなサイバー攻撃に備えるために、PwCコンサルティングは、AIエージェントの自律レベルに応じて、どのようなセキュリティ配慮や統制要件を満たすべきかを定義した評価基準「AI-CAL（AI Control Assurance Level、AI統制保証水準）」を活用することを推奨している。

　PwCコンサルティングトラストコンサルティング事業部ディレクターの柴田健久氏は「AIエージェントのリスクは、企業が業務で使用しているさまざまなツールや要素などが複合的に絡むことで発生する可能性がある。これに対して統制保証水準を設けて、AIエージェントの本番環境投入の可否といった経営判断に適用するのが重要だ。AI-CALは自律レベルに応じてどのようなリスクを持っているのかを複数のドメインを横断して評価できる。最終的にはこの評価基準を企業の経営層への説明に用いる“共通言語”にしたい」と強調する。

AI-CALの概要［クリックして拡大］出所：PwCコンサルティング

　AI-CALの評価では、特定の対策だけではなく、複数の機能ドメインと観測性／制御性を合わせて確認する必要がある。AIエージェントは、思考や計画、ツール実行、記憶、連携が組み合わさって動作するため、一部の統制不備が全体のリスクにつながる可能性が高い。そのため、それぞれのポイントで1つずつ脆弱性がないかを評価しながら、全体のセキュリティレベルを担保することが重要だ。

AI-CALの評価で重要なこと［クリックして拡大］出所：PwCコンサルティング

　AI-CALは水準ごと（4段階、AI-CAL1～AI-CAL4）に、5つの機能ドメインと観測性／制御性で満たすべき最低条件を定義している（詳細は下記図版を参照）。特に、AIの誤りが「回答」から「行動」として現れ始める自律レベル3（L3）相当のAIエージェントの本番環境投入を判断する指標として、AI-CAL2が重要な水準となる。同水準を満たさないまま自律レベル3のAIエージェントを本番環境に投入すると、TrendAIが実施した実証実験の事例のような攻撃が成立するリスクがある。

AIエージェントの自律レベルに応じた統制要件について［クリックして拡大］出所：PwCコンサルティング

　また、セミナーではAIエージェントによるセキュリティリスクを防ぐため、優先的に整備すべき領域として「権限管理の確立」「観測性・制御性の基盤整備」「AI-CAL評価プロセスの制度化」の3点について説明した。

　この3点のうち、まずは権限管理の確立を進めることが重要である。通常入力によるデータ処理と高権限AIエージェントによるデータ処理の間に存在するギャップが、サイバー攻撃の根本原因として存在している。そのため、AIエージェントの権限を最小にする、システムやデータベースにアクセスする際に一時的に高権限を付与するJIT（ジャストインタイム）権限を採用するといった対策が必要だ。

　次に、セキュリティ対策を突破された場合に異変を察知して被害を止めるため、観測性・制御性の基盤整備に取り組む必要がある。そのため、入出力のログや計画の履歴を確認でき、部分的にシステムを停止できるといった基盤の構築が重要である。

　最後に、新しいモデルに更新したり、他のツールを追加したりすることでシステムのリスク水準が変動するため、AI-CAL評価プロセスを制度化して継続的に運用できる仕組み作りを進めることが大切だ。「この順番で基盤を整備しながら制度を作り、企業としてAIエージェントの利用を安全で、説明責任が果たせる形で整えるということが必要である」（柴田氏）。