　QA4AIコンソーシアムは2018年4月に、産学から24人と3つの組織／団体が発起人に名を連ねて設立された団体だ。約1年間の活動を経て会員数は39人のメンバー＋3つの組織／団体となり、今回のイベント開催に合わせて「AIプロダクト品質保証ガイドライン 2019.05版」を発行、同コンソーシアムのWebサイトで無償公開している。AIを活用した製品の品質保証に関するガイドラインとしては日本初となる。

　同イベントでは、QA4AIコンソーシアム運営委員長を務める電気通信大学講師の西康晴氏が登壇し、同コンソーシアムのコンセプトや、ガイドラインの概要などについて説明した。

“帰納的開発”のAIプロダクトに従来のQA手法は使えない

QA4AIコンソーシアムの西康晴氏

　AI技術、特に機械学習や深層学習は、自社の競争力を高めることを目的に手掛ける企業が急速に増えている。ただし、そこで問題になるのが、機械学習や深層学習で得られた成果の品質保証をどのように行えばいいかという知見を誰も持っていないことだ。西氏は「主に機械学習技術を前提とするAIプロダクトの開発は、従来製品のような“演繹的開発”ではなく“帰納的開発”といわれている。これは、従来のQA（品質保証）手法が使えないことを意味している」と語る。

　また、確率的ふるまいをする、つまりAIが判断した結果の精度は決して100％にはならず、全てが絡み合うCACE（Changing Anything Changes Everything）原理に基づくため、どの関連要素も推論の精度に影響を与えるという課題もある。さらには、演繹的開発のソフトウェアテストで一般的な同値分割ができないので、テストの省略ができない。「このためテストの自動化が必要になる」（西氏）という。

AIプロダクトの特徴（クリックで拡大）出典：QA4AIコンソーシアム

　西氏が事例として示したのが、自動車の安全システムの標識認識機能が、中華そばチェーン「天下一品」のロゴを、侵入禁止の標識と誤認識する事例だ。西氏は「後から言われれば分かるが、自身がこのシステムのソフトウェア開発者として、このような誤認識を起こさないデータセットを用意できるかどうか考えてみてほしい」と強調する。

　また、品質保証が困難な事例として、DeNAが開発した、正面から見た人のキャラクターの絵と姿勢データを作るだけで、人がくるりと回転するアニメーションを作るAIサービスを挙げた。「現在は、自動車の安全システムのようなミッションクリティカルな組み込みデバイスは品質保証が必要で、DeNAのサービスのようなエンターテインメント系は必要ないとして分けて考えているが、今後も分けていられるかは分からない」（西氏）。

産学官連携のためのオープンな“場”

　QA4AIコンソーシアムは、産学官連携のためのオープンな“場”として発足した。西氏は「ミッションクリティカルだけでなく、エンターテインメントや、これらの中間も含めて、いろんな産業の人たちが入って来られるようにしている」と述べる。会員は基本的に個人として参加し、所属企業のために活動するのではなく「世の中のためになることを考える、議論して成果物を作りたい人だけが集まる場」（同氏）という前提がある。そういった意味も含めて、会費は不要だが、世の中のためになる成果物を作るという熱意は必須と言えそうだ。

　また、AI技術がさまざまな産業分野で活用されていることから「マルチドメイン」で活動を進めている。具体的には、幾つかのWG（ワーキンググループ）に分かれて、それぞれ分野にAIプロダクトの品質保証に求められることを議論しており、現在は生成系、スマートスピーカー、産業用プロセス、自動運転の4つのWGがある。2019年6月にはAIによる手書き文字認識（AI-OCR）のWGが発足する予定だ。「他にも金融や医療などもカバーしたい。意気込みのある方はぜひ参加してほしい」（西氏）としている。

QA4AIコンソーシアムの活動方針（クリックで拡大）出典：QA4AIコンソーシアム

　この他にも、西氏は「QAというと開発の足を引っ張るなどのネガティブなイメージがあるかもしれない。AIが最先端ビジネスで使われる以上、QAがその開発を邪魔してはいけない。また、AIプロダクトの信頼性が得られるようにしなければならないが、機械学習によるAIは決して100点満点にならないし、相応の信頼しか得られないことも理解しておく必要がある」と述べる。