AI製品の品質保証はどうする、日本初のガイドラインで品質と開発速度を両立せよ：AI基礎解説（2/3 ページ）

AI技術を活用した製品の品質保証に関する調査／体系化、適用支援／応用、研究開発を推進するQA4AIコンソーシアムが、東京都内でイベント「Open QA4AI Conference」を開催。日本初となる「AIプロダクト品質保証ガイドライン」について、同コンソーシアム 運営委員長の西康晴氏が説明した。

[朴尚洙，MONOist]

「伝統的な非AIプロダクトの品質保証にも役立つガイドラインになった」

　今回発表したAIプロダクト品質保証ガイドラインは、AIプロダクトの品質保証に共通の指針を与えるべく策定された。「150ページに迫る充実した内容」（西氏）になっている。ただし、AIや機械学習の技術が発展途上であることもあり、網羅性や完全性を意図したガイドラインにはなっていない。ガイドラインを企業内などで活用する際には、社内や組織の状況を反映し自己責任で利用する必要がある。また、西氏は「結果として、伝統的な非AIプロダクトの品質保証にも役立つガイドラインになった」と強調する。

AIプロダクト品質保証ガイドラインの概要（クリックで拡大） 出典：QA4AIコンソーシアム

　ガイドラインの前半は、AIプロダクトの品質保証に関する全体的な考え方を紹介している。後半は、生成系、スマートスピーカー、産業用プロセス、自動運転という4つのWGで検討したドメインごとのガイドラインになっている。西氏は「ドメインごとのガイドラインは、技術の熟成度やリリース済みのプロダクト数、背景などによって“書きっぷり”が違うので、実際に読んでみてほしい」と語る。

ガイドラインの構造（クリックで拡大） 出典：QA4AIコンソーシアム

　今回のガイドラインでは、AIプロダクトの品質保証活動は5つの軸と、そのバランスによってQA活動を評価するとしている。5つの軸とは、データがきちんとしているかを見る「Data Integrity」、モデルがきちんとしているかを見る「Model Robustness」、システム全体としての価値が高く何かが起きても何とかなるかを見る「System Quality」、プロセスの機動性を見る「Process Agility」、（良くも悪くも）顧客の期待が高いかを見る「Customer Expectation」だ。

AIプロダクトの品質保証活動における5つの軸とバランス（クリックで拡大） 出典：QA4AIコンソーシアム

「Data Integrity」（左）と「Model Robustness」（右）（クリックで拡大） 出典：QA4AIコンソーシアム

「System Quality」（左）と「Process Agility」（中央）、「Customer Expectation」（右）（クリックで拡大） 出典：QA4AIコンソーシアム

　これら5つの軸と併せて重要なのが、バランスである。例えば5つの軸の評価をレーダーチャートとしてみることでバランスを可視化できる。「可視化の方法は5軸のレーダーチャートとは限らない。例えば、Customer Expectationという軸に対して、残りの4軸を対比させるようなレーダーチャートでもよい」（西氏）。また、PoC（概念実証）、βリリース、継続的実運用といった開発の各段階で、面積は異なっていてもバランスはとれている必要があるという。

5つの軸のバランスの良しあし（左）とバランスの可視化の例（右）（クリックで拡大） 出典：QA4AIコンソーシアム

　また西氏は、QA活動の弊害として指摘される「過剰品質」についても説明した。「やるべきことを分かってしっかり品質を確保していることは“余力”であって、過剰品質ではない。何をやるべきか分からず、無駄を繰り返していることこそが過剰品質だ。そのことをはき違えてはいけない」と説明する。

余力と過剰品質の違い（クリックで拡大） 出典：QA4AIコンソーシアム