ディープラーニングの学習データ量を削減、「敵対的特徴」の活用で：人工知能ニュース

[松本貴志，MONOist]

　NECは2019年8月19日、ディープラーニングの学習に必要なデータ量を削減する新たな技術を開発したと発表した。同技術は画像や音声などデータ形式によらず適応でき、学習データセットの拡張を専門家による調整なしに実現するとしている。

従来技術と提案手法の違い（クリックで拡大） 出典：NEC

　製品の外観検査など、製造業においてもディープラーニング活用が進む。ディープラーニングの推論精度は学習用データセットの質と規模に依存するが、高品位なデータセットの用意は手間やコスト面で高いハードルが存在する。外観検査の例においても不良品の画像データを多数そろえる必要があるが、そもそも発生頻度の低い不良でデータ収集が困難な場合が多い。この問題を解決するため、他領域で学習したニューラルネットワークを転用する「転移学習」や、元の学習データを人為的に加工し学習用データセットへ加える「データ拡張」などの手法に注目が集まっている。

　一方で、データ拡張は専門家による調整を必要とするため、多種のデータに短期間に適用することは困難だった。また、分類器モデルの学習を行う場合、決定境界に近い学習データを多く収集することで効率的に推論精度を向上できる。しかし、十分に調整されていないデータ拡張は、モデルの推論精度向上に有益でない些細な学習データを水増しする場合がある。

　同技術は、元の学習データとニューラルネットワークの隠れ層から算出した「敵対的特徴（Adversarial feature）」を用いてモデルの学習を行う。敵対的特徴は学習中にネットワークを正則化し、モデルの過学習を防ぐ役割がある。半教師あり学習の「VAT（Virtual Adversarial Training）」も同様に、「敵対的サンプル（Adversarial example）」によってネットワークを正則化するが、NECの提案手法では実データとの合理性を保つため、学習データの線形結合によって表現されるよう敵対的特徴を規定したとする。

左からデータ拡張、敵対的サンプル、提案手法の比較（クリックで拡大） 出典：NEC

　提案手法を敵対的学習なしやVATと比較評価したところ、提案手法が少ないデータセットにおいても良好な推論精度を確保している結果となった。また、転移学習と組み合わせた場合においても、同様に提案手法が最も良い結果となっている。

MNIST、NORB、CIFAR-10データセットによる精度比較（クリックで拡大） 出典：NEC

転移学習と組み合わせた場合のMNIST、CIFAR-10データセットによる精度比較（クリックで拡大） 出典：NEC

　今後、同技術をリカレントニューラルネットワークやメモリネットワークなどより複雑な構造のネットワークに適応することを目指す。今回の成果は、ニューラルネットワークの国際会議「International Joint Conference on Neural Networks」（2019年7月14〜19日、ハンガリー・ブダペスト）で発表された。