“お手製AI”でロボットを強化学習、技術者工数を10分の1にしたOKIデータの革新：スマート工場最前線（2/3 ページ）
OKIデータ LED統括工場では、カラープリンタのLED関連部品の組み立て工程において、双腕ロボットと強化学習を組み合わせることで最適化を実現し、生産ライン構築における技術者の工数を10分の1に削減することに成功したという。
「ロボット自動生産システム」での「作業の自動化」
「ロボット自動生産システム」で実現したのは、外販用のLEDモジュールのパーツ組み立てや検査に関わる一連の工程の無人化である。具体的なパーツの種類などについては公表できないが、「形成」「組み立て」「固着」「特性検査」の4つの自動装置と、カワダロボティクスの双腕ロボット「NEXTAGE」を組み合わせて、ロボットが自発的に最適な判断を行う無人ラインを構築した。ロボットは主に装置間の「搬送」を担う。
これらの無人化に向けての取り組みとして「作業の自動化」と「思考の自動化」という2つの点で自動化を推進した。
まず「作業の自動化」を考える上で、従来技術において、ロボットに全ての作業をティーチングした場合を考えてみる。この無人ラインの入り口には80カ所のキャリア置き場があり、ここから形成装置が保有するキャリア置き場5つの中で、どれかに搬送するのが工程の最初となる。この場合、動作の数は80×5で400ステップとなる。同様にこの無人化ライン内でのロボットの行動を数えると835種類の行動があったという。
一方で、ロボットが搬送してよいのかどうかという判断も必要になる。ライン内でキャリアを置ける場所は176個あるため、それぞれにとって「搬送して良い」「搬送してはだめだ」という2種類のどちらかの判断が必要になるため、2の176乗のパターンが存在する。
そのため、これらの仕組みをそのまま開発すると、835種類の作業パターンをロボットにティーチングしないといけない。また、行動を選択するシーケンスとしては、835×2176となる。さらに、これらの行動を全て規定する方式では「予期しない変化に弱すぎる」（谷川氏）という課題も生まれる。これらを全て現場の技術者が開発するのは現実的ではなかった。
そこで、谷川氏が考えたのが、ロボットの作業パターンの絞り込みである。ロボットの作業パターンは絞り込み、その判断をAIによって実現するということだ。最終的にはロボットの作業パターンは5つの行動に絞り込んだという。行動は基本姿勢から作業を行い、基本姿勢に戻るまでの間と定義する。
ポイントとしたのが「判断部」をロボットの外に出す「外部化」を進めた点である。「判断」と「作業」を切り分けたことで構造をシンプル化することができた。「最近ではロボットでも簡単な判断をできるような仕組みが導入されているが、外部情報と組み合わせて最適な判断をするようなことはまだ難しい。そのため、判断については外部のAI対応PCから行う仕組みを考えた」と谷川氏は述べる。
基本的には実工場からロボットや生産ラインに取り付けられたカメラやセンサーの情報を取得して「判断部」に送り、「判断部」がその状況にあった作業指示を1つ出して、ロボットは5つの基本行動のうちの1つを実行するという形である。これにより「ロボットのティーチングコストや現場の負荷を低減しつつ自動化に近づけられた」と谷川氏は述べている。
強化学習を使った「思考の自動化」
「判断部」では、強化学習を使った「思考の自動化」を進めた。強化学習の手法としては「TD（時間的差分）学習」の内、「Q学習」を活用。収束する最適な評価値を探り、その評価値から、先述した2の176乗通りの判断パターンから、最適な作業を判断する。行動価値関数で与える報酬の指標は「トータルの作業時間」を置き、トータルの作業時間がより短い時間になるように学習を進めた。
谷川氏は「当初は、試行の中で単純に、良い結果をプラス、悪い結果をマイナスとする評価をしていたが、うまく収束した結果が得られなかった。いろいろ試行錯誤した結果、良い結果はプラスとしつつ、悪い結果でもより良い結果に近かったものは逆にマイナスに評価する指標としたところ、狙い通りの指標を得ることができた」と取り組みの成果について述べる。
この「判断部」が学習により最適な結果を選び出し、自動で作業指示を行う仕組みを作ったことで、ロボットによる自動生産ラインが実現できたという。この「判断部」とロボットの作業部を分ける考え方により、ロボットや大規模製造装置の弱点としても言われている「変化に弱い」という課題も解決。ロボットそのものは最小パターンの基本行動を作業指示に従って1つ1つこなすだけなので、急なトラブルによる停止などが起こった際も多くの場合は再起動の負担やティーチングの手間は低減できるという。
「実際に工場見学を受け入れていた時にラインが停止したこともあったが、数分で復旧したため『本当なの？』と驚かれたこともある」と谷川氏は述べる。
判断部の学習は基本的にはライン変更時や工程の追加時などに行い、学習で得られた実行エンジンはライン近くの市販の産業用PCで稼働させている。ただ、稼働データなどは「OPTAS」で常に取得、蓄積しており、次のライン変更時などに新たな学習の成果を生み出せるようにしているという。
自動化ラインは既に2017年6月に量産を開始。現在までに何度かライン変更や段取り替えなども実施しているが、これらの変更も非常に短時間で実現でき「成果を実感している」と谷川氏は述べる。
Copyright © ITmedia, Inc. All Rights Reserved.