「猫も杓子もAI」な現状は今後も続くのか？【後編】AI時代に必要な3つの検討事項：武田一城の「製品セキュリティ」進化論（6）（3/3 ページ）

近年「製品セキュリティ」と呼ばれ始めたセキュリティの新分野に関する事象を紹介し考察する本連載。今回は、「AIの今後」について筆者が必要だと考えている「3つの重要検討事項」について述べる。

[武田一城，MONOist]

【重要検討事項（3）】AIは万能の味方か、それとも新たな敵か？

　生成AIは、人間の能力を拡張する強力な道具である。「文章を書く」「調べる」「要約する」「翻訳する」「コードを書く」「画像を作る」――これまで専門的な知識や時間を必要としていた作業を驚くほど短時間でこなしてしまう。その便利さは、すでに多くの人が実感しているところだろう。

　しかし、強力な道具は、常に2つの顔を持つ。善良な利用者にとって便利なものは、攻撃者にとっても便利なのだ。生成AIは、企業の業務効率化を助ける一方で、サイバー攻撃のハードルを下げ、攻撃の速度や巧妙さを高める。これは、AI時代のセキュリティを考える上で避けて通れない問題である。

　例えば、フィッシングメールを考えてみる。従来のメールは、日本語が不自然だったり、文面が雑だったりすることで見破れることも多かった。しかし生成AIを使えば、自然な日本語で、相手の業種や役職に合わせた説得力のある文面を簡単に作ることができる。

　しかも、これまでは時間がかかり過ぎることで避けていた「一通ずつ内容を変えた攻撃メールを大量に作成する」ようなことも、AIを活用すれば時間やコストを大幅に抑えて実行できる。「標的型攻撃メール訓練」などと呼ばれる人間の違和感に頼る防御や訓練は、今後ほとんど効果を挙げられないかもしれない。

　また、ソフトウェア開発の現場でも注意が必要だ。AIはコード生成を支援してくれるが、そのコードが常に安全とは限らない。問題なく動作するコードであっても、脆弱（ぜいじゃく）性を含んでいたり、例外処理が不十分だったり、認証や権限管理に問題を抱えていたりする可能性がある。

　ソースコードを「AIが作ったから安全」というふうにむやみに信じてしまうことはリスクが大きい。むしろ、AIが作ったものだからこそ、人間による確認とセキュリティレビューが必要になる。

　さらに問題になるのが、個人情報や機密情報の漏えいである。業務でAIを使う際、利用者が何げなく個人情報や社外秘の設計情報、顧客情報、契約情報、ソースコードなどを入力してしまう可能性がある。

　指示した本人に悪意がなくても、便利だからという理由で機密情報をAIに渡してしまえば、それは重大なリスクになる。組織として、何を入力してよいのか、どのAIサービスを使ってよいのか、ログをどう管理するのかを明確にしなければならない。

　今後、AIエージェントが普及すれば、そのリスクはさらに拡大するだろう。「AIが自らツールを使い」「社内システムにアクセス」し、「ファイルを操作」し、「メールを送信する」ようになったとき、従来の「人間が操作する」ことを前提としたセキュリティ設計だけでは不十分になるはずだ。

　実際に、「AIにどこまで権限を許すのか」「AIの実行履歴をどう記録するのか」「誤動作した場合には、どう判断しどう止めるのか」といった問いは、近い将来の現実的な課題になる可能性が高い。場合によっては、SF映画でよくあるパターンのように「人類vsAI」の最終戦争の様相も想像に難くない。

　それでも、AIを恐れて禁止するだけでは、社会や企業の競争力は失われる。一方、無防備に使えば、想定外の新しいリスクを呼び込んでしまう。このバランスが非常に難しい。そして、上手なAI活用に必須なのは、「AIを前提とした、新しいセキュリティ設計」となる。

　AIを万能の味方と妄信することは避けなくてはならない。それでも、正しく理解し、適切に管理すれば、万能とまでは行かなくても、強力な味方になることもほぼ間違いない。そんな生成AI時代における（製品）セキュリティは、まさにこの二面性を直視するところから始まる。

　驚くことに、かつてITやスマートフォンがそうであったように、すでに「生成AIがなくてはやっていけない」というのが2026年時点の世界の現状だ。こうなってしまっては、引き返すことは難しい。だからこそ、本記事で述べた「3つの重要検討事項」を取り返しのつかない事態に陥る前に考えておかなければならない。

　これが、現在の「猫も杓子もAI」な状況を経た後の時代となっても、読者の皆さんが生き残るために必要な道なのだ。（次回に続く）

著者プロフィール

武田一城（たけだ かずしろ）　株式会社ベリサーブ

1974年千葉県生まれ。セキュリティ分野のマーケティングスペシャリスト。次世代ファイアウォールをはじめ、さまざまな新規事業の立ち上げに従事。セキュリティに限らず、IT全般の動向にも詳しく、インターネットや書籍の執筆実績が多数あり。NPO法人日本PostgreSQLユーザ会理事。日本ネットワークセキュリティ協会（JNSA）のワーキンググループや情報処理推進機構（IPA）の委員会活動、各種シンポジウムや研究会、勉強会での講演をはじめ製品セキュリティの啓発に向け精力的に活動している。