　多くの場合、セーフティクリティカルなシステムが動作すると想定される実世界のシナリオを用いてAIモデルの性能を評価します。これによって、AIモデルの限界を特定し、その精度と信頼性を向上させることを目標とします。エンジニアは、現実世界を表すデータセットを幅広く収集し、データをクリーンアップしてテストに適した状態にします。その後、モデルの精度や再現性など、さまざまな面からAIモデルを評価するようテストケースを設計します。最後に、AIモデルをデータセットに適用し、結果を記録して期待される出力と比較します。AIモデルの設計は、データテストの結果に基づいて改善されます。

3．AIシステムのシミュレーション実施

　エンジニアは、AIシステムのシミュレーションを行うことで、制御された環境でシステムの性能を評価および査定することができます。シミュレーションでは、さまざまな条件下で現実世界のシステムを模倣したバーチャル環境が構築されます。まず、初期状態や環境要因など、システムをシミュレーションするための入力やパラメーターを定義します。そして、シミュレーションを通して提案されたシナリオに対するAIシステムの応答が出力されます。データテストと同様に、シミュレーション結果は予想される結果や既知の結果と比較され、AIモデルは反復的に改善されます。

4．AIモデルが許容範囲内で動作することを確認

　AIモデルを安全かつ確実に動作させるには、限界を設定し、その範囲内に収まるようにAIモデルの動作を監視することが重要です。最も一般的な境界問題の一つは、限られたデータセットで学習したAIモデルが、推論実行時にデータセットの分布外のデータに接した場合に発生します。同様に、AIモデルのロバスト性が十分でない場合には、予測不可能な動作につながる可能性もあります。

　エンジニアは、AIモデルが許容範囲内で動作するように、バイアスの緩和とロバスト化の手法を採用しています。

4.1 データ拡張とデータバランシング

　データの偏りを軽減する方法の一つになるのが、AIモデルの学習に使用するデータに変動性を持たせて、AIモデルの学習を制限する反復パターンへの依存度を低下させることです。そのうちの一つであるデータ拡張では、さまざまなクラスや属性に対する公平性と平等な扱いを確保できます。例えば、自動運転システムにおけるデータ拡張では、歩行者がどの位置にいてもAIモデルによって検出できるように、さまざまな角度から撮られた歩行者の写真を使用することも含まれます。

　一方、データバランシングは、データ拡張と対で使用されることも多く、各データクラスからの類似したサンプルが含まれます。自動運転システムにおける歩行者を例に挙げると、「データのバランスを取る」とは、体型、服装、照明条件、背景の違いなど、歩行者シナリオのバリエーションごとに比例した数の画像がデータセットに含まれるようにすることになります。この手法はバイアスを最小化し、多様な現実世界の状況におけるAIモデルの一般化能力を向上させます。

4.2 ロバスト性

　セーフティクリティカルが求められるシステムにニューラルネットワークを展開する場合、ロバスト性が最大の課題となります。ニューラルネットワークは、感知できないレベルの小さな変化に起因する誤分類の影響を受けやすく、それが重大なリスクとなります。このような外乱は、ニューラルネットワークに不正確な結果や危険な結果を出力させるおそれがあります。

　このため、エラーが大きな事故につながりかねないシステムでは警戒が必要です。解決策の一つは、形式的手法を開発および妥当性確認プロセスに組み込むことです。形式的手法とは、厳密な数学的モデルを使用して、ニューラルネットワークの正確性を確立し、証明することです。これらの手法を適用することで、エンジニアはある種の外乱に対するネットワークの耐性を向上させ、セーフティクリティカルなアプリケーションにおいてロバスト性と信頼性を確実に高めることができるのです。

まとめ

　AI対応のセーフティクリティカルなシステムが登場した現代において、V&Vプロセスの手順は、業界の認証を取得し、法的要件を順守する上で極めて重要になりつつあります。エンジニアは、信頼できるシステムを構築し維持するために、AIシステムを実行するAIモデルの説明可能性と透明性を確保する検証手法を採用する必要があります。さらにV&Vプロセスの実施にAIを活用する場合は、複雑化するAI技術の課題に対処するさまざまなテスト手法を模索することが不可欠です。セーフティクリティカルなシステムにおいては、こうした取り組みにより、AIの責任ある使用と透明性が確保されるのです。

筆者プロフィール

Lucas Garcia MathWorks ディープラーニング担当プリンシパルプロダクトマネージャー

コンピュータソフトウェア業界において15年以上の機械学習分野の豊富な経験と研究背景を持つ。顧客対応チームや開発チームと連携して、ディープラーニングに関する顧客ニーズや市場動向に基づいた新機能やアプリケーションの定義、開発、発売。2008年に顧客担当エンジニアとしてMathWorksに入社し、さまざまな業界のエンジニアや科学者と協力し、AIを用いた実社会の問題解決を支援している。マドリード・コンプルテンセ大学およびマドリード工科大学で応用数学の博士号を取得。

MathWorks Japan https://jp.mathworks.com/

⇒その他の「いまさら聞けないシリーズ」の記事はこちら

エッジAIがIoTデバイスのリアルタイムの意思決定を可能にする
インターネットに接続されるデバイスの数は2030年までに290億台に達すると予想されている。これらのエッジデバイス上でAI処理を行う「エッジAI」について、進化をけん引する4つの要素や、導入するメリットを解説する。
機械学習の2つの壁「分類モデルの選定」と「過学習」への対処法
さまざまなデータを用いた機械学習でスマートな製品開発を目指す上で課題になるのが、「分類モデルの選定」と「過学習」への対応だ。本稿では、分類モデルと過学習について概説するとともに、基礎的な対処法について説明する。
機械学習とディープラーニング、どちらを使えばいいのか
研究開発プロジェクトを先に進めるためにどのようなAI技術を使用すればいいのだろうか。本稿では、その一助とすべく、機械学習とディープラーニング（深層学習）の違いについて概説し、それぞれをどのように適用すべきかについて説明する。
多くの産業分野で導入が進むAI、2024年に注目すべき3つのトレンド
多くの産業分野で導入が進むAI（人工知能）はさまざまな変革をもたらしている。本稿では2024年のAIに関する注目すべき3つのトレンドを取り上げる。
エンジニアに必要不可欠な存在となったAI、2023年に注目すべき4つのトレンド
製造業をはじめさまざまな産業分野で活躍するエンジニアにとって当たり前の存在となったAI。本稿では2023年のAIに関する注目すべき4つのトレンドを取り上げる。
エンジニアの最初の選択肢となるAI、2021年に注目すべき5つのトレンドとは
製造業での活用が広がり始めたAI（人工知能）ですが、2021年以降にどのような方向性で進化していくのでしょうか。本稿では注目すべき5つのトレンドを取り上げます。