AIをブラックボックスにしないために、“判断の根拠”の解析を：自動運転技術

[齊藤由希，MONOist]

日立超LSIシステムズの猪貝 光祥氏

　人工知能（AI）はなぜその結論に至ったのか――。日立超LSIシステムズ 組込ソリューション事業部の猪貝 光祥氏が、NVIDIAのユーザーイベント「GTC Japan 2018」（2018年9月13〜14日）において、AIの品質保証に関する最新動向を紹介した。

　自動運転技術の開発では、自車の周辺にある物体の種類の識別や走行可能なエリアの検出といった周辺環境の認識などにおいて、深層学習（ディープラーニング）で得たアルゴリズムの活用が進む。Robert Bosch（ボッシュ）は2019年にディープラーニングなどのアルゴリズムで周辺環境を認識する次世代ステレオカメラの量産を予定するなど、市販モデルの運転支援システムにもディープラーニングの技術が浸透するのが見えてきた。

　しかし、ディープラーニングのアルゴリズムに関して課題となっているのは、どのような根拠で判断を下したかがブラックボックスとなる点だ。ブラックボックスのままでは、誤認識が起きた時にその原因を特定するのが難しく、認識率を向上する道筋をつけにくく膨大な学習データが必要になる。ボッシュも、ディープラーニング以外に複数のアルゴリズムを組み合わせることで、信頼性と精度を確保している。

　「ディープラーニングの学会に参加すると、大きく2つのAIに分かれている。1つは先述したように、ブラックボックスを透明化し、説明責任を果たせる『説明可能なAI』を重視するグループだ。彼らは、追加学習で必要な教師データが膨大になることも解決しようと取り組んでいる。総務省も、2018年11月に説明可能なAIの開発に関するガイドラインを公開する予定で、AIの説明責任を果たすことは今後さらに重要な開発テーマになる。もう1つは、人間が自分自身の判断の理由を説明できない場合があるように、脳の一部を模したディープニューラルネットワークにも間違いやバイアスがあることを受け入れる『人間らしいAI』を主張するグループだ。どちらが正しいというわけではないが、モノづくりに求められるのは説明可能なAIの方だろう」（猪貝氏）

　猪貝氏は、ディープラーニングのブラックボックス解析技術として、教師データのどの部分を根拠にしたか、どの教師データが判断に影響を与えたかを分析する技術が複数登場し、進展していることを紹介した。こうした解析技術は、説明責任を果たすためだけでなく、誤判定が起きた要因を基に学習データを調整し、認識精度を向上させる上で役立つという。

さまざまなブラックボックス解析技術が提案されている（クリックして拡大） 出典：日立超LSIシステムズ

　実際のクルマの画像を基に、ディープラーニングによる推論の結果と、推論で着目したポイントを分析すると、クルマ全体を見ているわけではないことが分かる。タイヤとボンネットの一部、ピラーとフロントガラスといったピンポイントを認識して高い確信度で判断することもあれば、クルマの後ろに立っている木をクルマの一部と認識して確信度が下がったり、車両の大部分に着目しているにもかかわらず、判断に必要な特徴量が不足して確信度が低くなったりする場合もある。解析技術はこうした判断のプロセスを明らかにすることができる。これらを基にAIが見ていなかったポイントや、不足していた特徴量を補えるような学習データを追加すれば、効率的に追加学習を行うことができるとしている。

　さらに、別のブラックボックス解析技術を用いると、「この画像はどの学習データのおかげ正しく分類したのか」を把握することもできるという。これを応用すれば、誤認識につながった学習データを取り除くことで精度を向上するとともに、重複するデータを排除して学習データが膨大になるのを抑え、追加学習を効率化することが期待できる。

AIが画像のどこに着目して判断したかを解析できる。同時に、AIが判断に当たって見なかった部位も明らかになる（クリックして拡大） 出典：日立超LSIシステムズ

どんな学習データを基に誤認識したかを抽出する技術も提案されている（クリックして拡大） 出典：日立超LSIシステムズ