人手作業を手指の関節点とモノの画像認識で正確に把握、NECがAI技術を開発：FAニュース

[三島一孝，MONOist]

　NECは2022年6月20日、AI（人工知能）を活用した映像解析により、手指の動きと作業するワークを高精度に識別し、工程の流れを見える化できる技術を開発したと発表した。工程当たり数回の映像による学習で、従来は難しかった細かい作業内容を正確に把握できる。製造の組み立て作業や物流の詰め込み作業などの人作業の見える化で2022年度中に製品化を進めていく。

手指の動きを把握し、作業を識別している様子［クリックで拡大］ 出所：NEC

人作業の把握が課題

　製造現場や物流現場ではまだ人手作業が多く残されている。人の手は高度な動作を柔軟に行える利点を持つが、多様な動きを複雑に組み合わせて行うため、従来はこの人手作業をデータ化するのが難しかった。例えば、画像による認識技術では大まかな動きの把握しかできず高精度な作業分析には使えない。また、作業の開始時にボタンを押させるなど作業者に負荷をかけて行う場合、作業者の不満が高まり、抜け漏れなどにつながり、結果としてデータとして使えなくなってしまうケースなども増えている。

　今回NECが開発した技術はこれらの課題解決を目指したものだ。AI活用により、人の動きとモノの在り方の2つの要素を認識することで高精度の人作業の識別を行えるようにした。各指の関節と指先（両手合計42箇所）の動きを基として捉えた手指形状の特徴量と、指周辺の画像特徴量との共起関係（ある手指の形と、特定の部品や道具が同時に現れる状況）を学習する方式のため、個別の部品や道具を登録して学習する必要がない。

　ポイントは2つの認識技術を組み合わせている点だ。従来の人手作業の映像認識は、映像全体をディープラーニングにより学習させてアルゴリズムを作った場合、精度は高くなるものの大量の学習データが必要となり、その負荷が大きすぎる問題があった。一方で、人体の動きを骨格で認識し、関節部分で点と線の動きとして簡略化する場合、データ数は大幅に少なくできるものの、細かな作業を認識できなかった。今回の技術は、これらの強みと弱みを組み合わせ、手指の骨格情報から手指の動きを把握し、さらに手指周辺の画像情報から部品や道具などのモノの情報を取得。それぞれの特徴量を抽出し、この2つの組み合わせを解析することで正確に作業内容を判別できるようになった。

開発した技術の仕組み［クリックで拡大］ 出所：NEC

　「手や指の動きや形状だけでは、例えば同じ動作をした場合、判別できない場合が出てくる。しかし、同時にどういうモノを扱っているのかという情報を組み合わせることができれば『何をどうする作業か』ということが正確に把握できるようになる」（NEC）。これにより、数回分のお手本映像だけで学習モデルを作成し、「モジュラージャックを取る」「マイクをはめ込む」や「電動ドライバーでネジを締める」などの数十種類の細かい作業を高精度に識別できるという。

実証により識別した作業の内容［クリックで拡大］ 出所：NEC

　同技術は、既にICT機器の製造を行うNECプラットフォームズ 白石事業所で実証を行っている。撮影した製品組み立ての実験映像に適用した結果、各作業時間を高精度に実測し、規定時間との差異を把握できたという。これにより、部品置き場の再調整や組み立て方の指導、手順の再考などの対策を検討しているという。

　今後はさらに人のバラつきや道具やモノのバリエーションなどへの対応を進めつつ2022年度（2023年3月期）中に、「机上での組み立て作業」を対象に製造業向けで製品化を進めていく計画だ。加えて、机の上で収まらないような大型部品などの組み立てや検査などについても、2023年度以降に対応できるようにする。その他、物流現場や食品の詰め工程などへの適用を検討していく。「どういう製品およびサービス形態で展開するかは検討中だが、大企業のみで使えるような形ではなく広く中堅以下の企業でも活用できる形としたい」（NEC）としている。

作業の識別と活用のイメージ［クリックで拡大］ 出所：NEC

≫「FAニュース」のバックナンバー