　ディープラーニングによる画像認識を行うため、クレーンにカメラ1台を試験設置して検証を行った。しかし、そこでもさまざまな問題が生まれたという。「カメラの画角によって対象とした以外のコイルや地面などの不要な情報が入り、学習の精度を上げることが難しかった。ただ段積みや寸法が異なることなどから、カメラの画角を調整するということは難しく、単純に画像を入力するだけでは効率的に精度を向上できないことが分かってきた」と園田氏は語る。

ディープラーニングによる緩衝材有無識別技術開発における課題（クリックで拡大）出典：日本製鉄

　そこで、ディープラーニングを行う前に取得した画像で必要な箇所を切り出す前処理を行うようにした。加えて、緩衝材の落下の頻度はそれほど多くなく、学習用の素材取得も難しい状況があったが、反転や拡大縮小、位置ずらしなど、学習用素材を54倍に拡張し、それによって学習を進めた。こうした前処理の工夫などにより、実証試験内では緩衝材有無の識別率100％を実現できたという。

本番データを基に精度を向上

　こうした実証を経て、本格導入を推進。クレーン6台を対象に、クレーン1台当たりカメラ2台を設置して画像を取得し無線により収集する。これらの画像を再学習用素材として記録しつつ、学習結果により緩衝材の有無を判定する緩衝材有無検知システムと、プロセスコントローラー、各種制御機器などを連携し、緩衝材がなかった場合はクレーンを止めるというシステムを稼働させた。システムはオンプレミスで構築されている。

緩衝材有無検知システムの構成図（クリックで拡大）出典：日本製鉄

　立ち上げの方法も工夫をした。最初から理想の結果を求めるのではなく、ステップとして緩衝材なしの場合の確信度90％以上を閾値として設定し、その後、運用内で学習データ素材を収集して精度を上げて最終判定の閾値を緩和していくという段階的な取り組みを進めた。

　学習素材の収集についても、本番運用内でも「緩衝材なし画像データ」は、ディープラーニングで効果を得るほどの数は得られないが、「緩衝材あり画像データ」から「緩衝材なし画像データ」を作り、学習に生かすようにした。

検出精度は85％、過検出率は0.02％を実現

　これらの工夫により、開始から調整完了まで約10カ月で実現した。実操業の中で2カ月ごとに学習モデルのブラッシュアップも推進。緩衝材ありの作業数は1カ月に約1万5000、緩衝材なしの作業数は約40だが、最初は緩衝材なしの検出率は55％、過検出率は0.23％だった。2カ月ごとに学習データを新たに加えて学習モデルをブラッシュアップして、検出率は80％、過検出率は0.02％を実現しているという。

　現在はさらなる改善を進め、自動で切り出し範囲を特定するオブジェクト検知を導入する取り組みを進めているところだとする。園田氏は「最新技術を導入しつつ実操業を想定しつつ、定量的な目標設定を行うところから試行錯誤を繰り返しながら、速やかに導入できた点、導入後も継続的に精度向上に取り組めた点などは振り返りとしてよかった」と語っている。