セーフティクリティカルなAIシステム開発に求められる「V&Vプロセス」とは：AI基礎解説（1/2 ページ）

世界各国でAI関連規制の整備が進む中で、AIシステムの開発に求められるのが「検証（Verification）」と「妥当性確認（Validation）」から成る「V&Vプロセス」である。特に、自動車や航空宇宙の分野を中心に高い安全性や高い信頼性が重視されるセーフティクリティカルなシステムにAIを導入する際に重要な役割を果たすとみられている。

[Lucas Garcia（MathWorks），MONOist]

　世界各国でAI（人工知能）関連の規制が整備されるのに伴い、AIを用いたシステム（AIシステム）を設計する際には、新たに導入される仕様や規格に対応しなければならなくなっています。米国では2023年10月30日に、AI規制に関する大統領令「The Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence」が発令されました。この大統領令では、AIシステムに対するロバスト性の高い「検証（Verification）」と「妥当性確認（Validation）」から成る「V&Vプロセス」の重要性を強調しており、AIシステムが意図した通りに機能し、指定された要件を満たしていることを確認するために、特定のAIモデルについて報告し、テストすることをAI企業に義務付けています。

　AI規制とV&Vプロセスは、高い安全性や高い信頼性が重視されるセーフティクリティカルなシステムに大きな影響を及ぼすと予想されます。自動車や航空宇宙の分野で用いられるアプリケーションを含めて、システム設計へのAIの活用がさらに進んでいるからです。

AIシステムにおける検証と妥当性確認

　検証では、AIモデルが指定された要件に従って設計および開発されているかどうかを判断します。一方、妥当性確認では、製品がクライアントのニーズや期待値を満たしているかどうかのチェックが含まれます。検証と妥当性確認から成るV&Vプロセスを採用することで、エンジニアはAIモデルの出力が仕様を満たしていることを確認し、バグの早期発見やAIモデルの学習に用いられるデータの偏りなどを緩和できます。

　セーフティクリティカルなシステムでAIを使用する利点の一つは、AIモデルによって物理システムを近似し、設計の妥当性を確認できることです。エンジニアは、AIシステム全体をシミュレーションし、データを使用して、外れ値イベントを含むさまざまなシナリオでシステムをテストします。セーフティクリティカルなシナリオでV&Vプロセスを実施することで、AIシステムがさまざまな状況下でその性能レベルを確実に維持できるようになります。

　AIを活用した製品を開発する多くの業界では、市場に投入する前に製品を規格に準拠させる必要があります。V&Vプロセスを実施することで、特定の要素を確実に製品に組み込み、またその機能性をテストすることで認証を取得しやすくなります。

　例えば、自動車業界では、AIを採用した安全システムにおける道路走行車両の安全関連特性とリスク要因に対処するための規格としてISO/CD PAS 8800を策定しているところです。航空宇宙／防衛業界では、DO-178C（Software Considerations in Airborne Systems and Equipment Certification）のような既存の安全認証があるものの、AIがもたらす特有の課題に直接対応できない場合があります。そこで、AIを実装した航空安全関連製品の開発および認証のガイドラインを提供するために策定されたプロセス標準がARP6983です。

　筆者が所属するMathWorksの「MATLAB」や「Simulink」といったツールも、大規模システム内でのAIモデルの検証やテストを効率化に貢献できる機能を提供しており、エンジニアが自動車や航空宇宙／防衛などの業界において常に最先端のV&Vプロセスを実施できるような支援を行っています。

セーフティクリティカルなAIシステム開発におけるV&Vプロセス

　AIシステム開発においてV&Vプロセスを実施する場合、エンジニアの目標は、AIコンポーネントが確実に指定された要件を満たし、あらゆる動作状況下で信頼性が保たれ、安全に展開できるようにすることです。そのために、静的解析および動的解析、テスト、形式的手法、実運用の監視などを組み合わせたソフトウェアアシュアランスを実施します。

　業界によって多少異なる場合もありますが、V&Vプロセスの全体的な手順は以下の通りです。

1. 意思決定プロセスを解析しブラックボックス問題を解決
2. 代表的なデータセットを使用してAIモデルをテスト
3. AIシステムのシミュレーション実施
4. AIモデルが許容範囲内で動作することを確認

　以下に記載するV&Vプロセスの手順を示す図は反復的なものです。エンジニアは新しいデータを収集し、新たな洞察を得て、運用上のフィードバックをまとめることで、AIシステムの性能向上と改善を継続的に行うことができます。

W字型になるV&VプロセスはAIモデルの正確性と信頼性を確保するよう設計されたワークフローだ［クリックで拡大］ 出所：MathWorks

1．意思決定プロセスを解析してブラックボックス問題を解決

　エンジニアがAIモデルを使用してシステムに自動化の機能を追加する場合、ブラックボックス問題が発生します。AIベースのシステムが意思決定を行う方法を把握することは、透明性を確保し、エンジニアがモデル予測に対する信頼を築き、意思決定を理解できるようにする上で極めて重要です。

1.1 特徴量重要度分析

　特徴量重要度分析は、エンジニアがAIモデルの予測に最も大きな影響を与える入力変数を特定する際に役立つ手法です。決定木や線形モデルなど、モデリングの方法によって解析方法は異なりますが、一般的な手順では、各入力変数に特徴量の重要度スコアを割り当てます。重要度スコアが高いほど、その特徴がモデルの決定に大きな影響を与えるということになります。自動車のセーフティクリティカルなシステムの場合、変数として降水量や他の車両の存在、その挙動などの環境要因が含まれます。

1.2 説明可能性

　説明可能性の手法からは、AIモデルの動作に関する洞察が得られます。これは、AIモデルのブラックボックス的性質によって他の手法を使用できない場合に特に効果的です。画像データに関するコンテキストについては、こうした手法によって、画像データの中でも最終的な予測に最も貢献する領域を特定します。これによってエンジニアは、予測を行う際のAIモデルの着眼点を理解できます。