　ただ、ドローンには自動車にはない大きな苦労があったという。自動車の自律走行のための深層強化学習は、環境情報や物理モデルを組み込んだ挙動予測用のシミュレーションで実施。自動車の場合はこのシミュレーションが十分に機能したが、ドローンではシミュレーション結果と実際の飛行との間の差が大きく、思ったように飛ばない状況に陥ったという。これを解決するために編み出したのが「スパイラル学習法」である。

　「スパイラル学習法」とは、ドローンを制御するためのニューラルネットワーク（NN）と共に、シミュレーター用のニューラルネットワークを用意し、それぞれを利用し合いながら学習していく方法である。飛行ログと制御用NNによる結果からシミュレーターのNNを進化させ、さらにその強化されたシミュレーターを使って、制御用のプログラムを強化。これらをらせん状に高めていくという方法である。

PFNの「スパイラル学習法」のイメージ（クリックで拡大）出典：PFN

　これにより、現実的な物理情報に対しシミュレーションが行えるようなモデルが用意できていない場合でも、早期に最適な制御プログラムを構築することが可能となる。

　「ある程度影響を受ける要因が限られる自動車とは異なり、ドローンは環境における空間の影響や充電ケーブルの影響などを大きく受ける。CEATEC JAPANの初日の段階では、7日間分の深層強化学習を行った段階でデモを行ったが、オフィス環境での飛行ログを基盤としたシミュレーション結果と異なる点もあった。2日目以降は実際の展示会場での飛行ログを基にシミュレーターを進化させ、さらにそれを用いてドローンの制御プログラムも進化させているため、日に日に進化している」とPFNの説明員は述べている。

　PFNでは、この「スパイラル学習法」は「航空機や建機など複雑で失敗が許されないようなシステムの制御を行うのに有効だ」としている。

「人工知能」の関連記事へ