AIシステムの品質管理方法をまとめたガイドラインを公開：製造マネジメントニュース

産業技術総合研究所は、AIシステムの設計開発における品質管理方法をまとめた「機械学習品質マネジメントガイドライン」を公開した。AIシステムの品質要件が整理され、開発者が客観的に評価できる枠組みが示されている。

[MONOist]

　産業技術総合研究所（産総研）は2020年6月30日、AI（人工知能）システムの設計開発における品質管理方法について体系的にまとめた「機械学習品質マネジメントガイドライン」を公開した。

機械学習品質マネジメントガイドラインの概要 出典：産総研

　機械学習によるAIシステムでは、開発者のプログラムによる指示ではなく、訓練データを用いて学習し、間接的にシステムを構築する。そのため一般的なソフトウェアよりも品質管理が難しい。

　今回公開したガイドラインでは、ライフサイクル全体の品質マネジメントを対象に、AIサービスを提供する際に要求される品質を満たすための取り組みや検査項目が体系的にまとめられている。

　機械学習を用いるAIシステムでの品質を、機械学習要素自体が有する「内部品質」と、AIシステムの中で機械学習要素に求められる「外部品質」、AIシステムを利用する際に必要な「利用時品質」の3つに分けた。

　内部品質は、「要求分析の十分性」「データ設計の十分性」「データセットの被覆性」「データセットの均一性」「機械学習モデルの正確性」「機械学習モデルの安定性」「プログラムの健全性」「運用時品質の維持性」の8項目に整理されている。システムの開発者は、プロセス管理や数値評価によってこれらを具体的に確認することで、外部品質に求められる要件が達成可能になる。

　外部品質として特定されたのは「リスク回避性」「AIパフォーマンス」「公平性」の3軸で、それぞれ、要求の強さに応じてレベル分けされている。

　内部品質を向上させることで、外部品質のレベルが十分なものとなり、これにより最終製品の利用時品質が確かなものになる。また、同ガイドラインは、AIシステムの開発者と利用者が、対象システムに求められる品質要求に関して、客観的な基準を基に合意できるため、品質に関する不透明性の排除につながる。

求められる品質条件を達成するための全体構造（クリックで拡大） 出典：産総研

着目する内部品質特性（クリックで拡大） 出典：産総研

　今後は、実際にAIシステムをビジネスで活用した結果を基に、国際標準化も視野に入れて、定期的なガイドライン改訂や英文ガイドラインの作成を実施し、有用性を高めていく。