セーフティクリティカルなAIシステム開発に求められる「V&Vプロセス」とは：AI基礎解説（2/2 ページ）

世界各国でAI関連規制の整備が進む中で、AIシステムの開発に求められるのが「検証（Verification）」と「妥当性確認（Validation）」から成る「V&Vプロセス」である。特に、自動車や航空宇宙の分野を中心に高い安全性や高い信頼性が重視されるセーフティクリティカルなシステムにAIを導入する際に重要な役割を果たすとみられている。

[Lucas Garcia（MathWorks），MONOist]

2．代表的なデータセットを使用してAIモデルをテスト

　多くの場合、セーフティクリティカルなシステムが動作すると想定される実世界のシナリオを用いてAIモデルの性能を評価します。これによって、AIモデルの限界を特定し、その精度と信頼性を向上させることを目標とします。エンジニアは、現実世界を表すデータセットを幅広く収集し、データをクリーンアップしてテストに適した状態にします。その後、モデルの精度や再現性など、さまざまな面からAIモデルを評価するようテストケースを設計します。最後に、AIモデルをデータセットに適用し、結果を記録して期待される出力と比較します。AIモデルの設計は、データテストの結果に基づいて改善されます。

3．AIシステムのシミュレーション実施

　エンジニアは、AIシステムのシミュレーションを行うことで、制御された環境でシステムの性能を評価および査定することができます。シミュレーションでは、さまざまな条件下で現実世界のシステムを模倣したバーチャル環境が構築されます。まず、初期状態や環境要因など、システムをシミュレーションするための入力やパラメーターを定義します。そして、シミュレーションを通して提案されたシナリオに対するAIシステムの応答が出力されます。データテストと同様に、シミュレーション結果は予想される結果や既知の結果と比較され、AIモデルは反復的に改善されます。

4．AIモデルが許容範囲内で動作することを確認

　AIモデルを安全かつ確実に動作させるには、限界を設定し、その範囲内に収まるようにAIモデルの動作を監視することが重要です。最も一般的な境界問題の一つは、限られたデータセットで学習したAIモデルが、推論実行時にデータセットの分布外のデータに接した場合に発生します。同様に、AIモデルのロバスト性が十分でない場合には、予測不可能な動作につながる可能性もあります。

　エンジニアは、AIモデルが許容範囲内で動作するように、バイアスの緩和とロバスト化の手法を採用しています。

4.1 データ拡張とデータバランシング

　データの偏りを軽減する方法の一つになるのが、AIモデルの学習に使用するデータに変動性を持たせて、AIモデルの学習を制限する反復パターンへの依存度を低下させることです。そのうちの一つであるデータ拡張では、さまざまなクラスや属性に対する公平性と平等な扱いを確保できます。例えば、自動運転システムにおけるデータ拡張では、歩行者がどの位置にいてもAIモデルによって検出できるように、さまざまな角度から撮られた歩行者の写真を使用することも含まれます。

　一方、データバランシングは、データ拡張と対で使用されることも多く、各データクラスからの類似したサンプルが含まれます。自動運転システムにおける歩行者を例に挙げると、「データのバランスを取る」とは、体型、服装、照明条件、背景の違いなど、歩行者シナリオのバリエーションごとに比例した数の画像がデータセットに含まれるようにすることになります。この手法はバイアスを最小化し、多様な現実世界の状況におけるAIモデルの一般化能力を向上させます。

4.2 ロバスト性

　セーフティクリティカルが求められるシステムにニューラルネットワークを展開する場合、ロバスト性が最大の課題となります。ニューラルネットワークは、感知できないレベルの小さな変化に起因する誤分類の影響を受けやすく、それが重大なリスクとなります。このような外乱は、ニューラルネットワークに不正確な結果や危険な結果を出力させるおそれがあります。

　このため、エラーが大きな事故につながりかねないシステムでは警戒が必要です。解決策の一つは、形式的手法を開発および妥当性確認プロセスに組み込むことです。形式的手法とは、厳密な数学的モデルを使用して、ニューラルネットワークの正確性を確立し、証明することです。これらの手法を適用することで、エンジニアはある種の外乱に対するネットワークの耐性を向上させ、セーフティクリティカルなアプリケーションにおいてロバスト性と信頼性を確実に高めることができるのです。

まとめ

　AI対応のセーフティクリティカルなシステムが登場した現代において、V&Vプロセスの手順は、業界の認証を取得し、法的要件を順守する上で極めて重要になりつつあります。エンジニアは、信頼できるシステムを構築し維持するために、AIシステムを実行するAIモデルの説明可能性と透明性を確保する検証手法を採用する必要があります。さらにV&Vプロセスの実施にAIを活用する場合は、複雑化するAI技術の課題に対処するさまざまなテスト手法を模索することが不可欠です。セーフティクリティカルなシステムにおいては、こうした取り組みにより、AIの責任ある使用と透明性が確保されるのです。

筆者プロフィール

Lucas Garcia MathWorks ディープラーニング担当プリンシパルプロダクトマネージャー

コンピュータソフトウェア業界において15年以上の機械学習分野の豊富な経験と研究背景を持つ。顧客対応チームや開発チームと連携して、ディープラーニングに関する顧客ニーズや市場動向に基づいた新機能やアプリケーションの定義、開発、発売。2008年に顧客担当エンジニアとしてMathWorksに入社し、さまざまな業界のエンジニアや科学者と協力し、AIを用いた実社会の問題解決を支援している。マドリード・コンプルテンセ大学およびマドリード工科大学で応用数学の博士号を取得。

MathWorks Japan https://jp.mathworks.com/

⇒その他の「いまさら聞けないシリーズ」の記事はこちら