　両社による動作予測アルゴリズムの開発では、時系列データの解析で広く用いられているLSTM（Long Short Term Memory）を基に、過去動作の解釈と未来動作の予測を同時に行う時系列認識の手法であるRULSTM（Rolling-Unrolling LSTM）を採用し、3つの改善を施した。

「EPIC-KITCHENS-100」の動作予測アルゴリズムの開発では、RULSTMをベースに3つの改善を施した出典：パナソニック

　改善の1つ目は「Class Balanced Loss」で、学習データにクラスごとのばらつきがある場合に学習の寄与率を調整し、過学習を抑制した。2つ目の「Deferred Re-weighting」では、Class Balanced Lossにおける寄与率調整の開始時期を後半から行うことで学習効率を向上した。3つ目の「Test Time Augument」はデータ拡張技術の1種で、入力データを水増しし、複数の推定結果を入力、組み合わせることで推定精度の向上につなげた。

　EPIC-KITCHENS-100の動作予測部門では、予測の対象となる動作が起こる1秒前の映像データから、次に起こるであろう動作を示す「動詞＋名詞」の組み合わせで予測する必要がある。ただし、予測した5つの候補の中に正解の動作が入っていればよいので、それほど難しくないようにも思える。「実際のところ、画像ベースで人の動作を予測するのはまだまだ難しい。データセットの映像が人の頭部に装着したカメラで撮影した1人称視点のものであり、時間も短い上に、予測すべき行動は台所内に限定されてはいるがそれでも3000種類くらいある。例えば、空いた状態の冷蔵庫の扉に手をかけたところから『冷蔵庫を閉める』という行動を予測するのは比較的容易だ。しかし、まだ行動の対象となっているモノが映っていない状態から行動を予測するのはかなり難しい」（里氏）。

「EPIC-KITCHENS-100」における動作予測イメージ。1秒以上前の映像データから動作を示す「動詞＋名詞」の組み合わせを予測し、5つの候補の中に正解の動作が入っていればよい（クリックで拡大）出典：パナソニック

　なお、今回のEPIC-KITCHENS-100に向けたアルゴリズム開発はコロナ禍での取り組みとなり、リアルでの面会が難しいことなどが足かせになる可能性もあった。竹中氏は「互いの拠点が遠隔にあることもあり、以前の開発案件でもTV会議システムなどを活用して進めた実績がある。今回の開発でも特段に困ったことはなかった」と述べる。

当初目標の上位入賞から準優勝で大きな手応え

　開発期間が短く、EPIC-KITCHENS-100への参加は初めてということもあり、当初の目標は上位入賞だったが、結果として14.82％の予測精度を達成し、1位のFAIRに次ぐ2位の成績を収めることができた。藤松氏は「1位に入ったFacebookのAI研究開発組織であるFAIRや、3位のインペリアル・カレッジ・ロンドン、上海交通大学はAI研究の実績が広く知られている。そこに割って入れたことは大きな手応え。次の2022年度もEPIC-KITCHENS-100が開催されるのであれば、ぜひ参加したい」と意気込む。

　また、今回のAIアルゴリズム開発で実装と評価を担当したPSNRD 技術センター第1技術部開発15課第1係の花沢和紀氏も「AIコンテストへの参加という貴重な機会が得られ、よい経験になった。特に『偏りのあるデータセット』を扱う場合に、データへのアプローチが効果的なことがよく分かった」と述べている。

第3回「EPIC-KITCHENS-100」の動作予測部門に参加したパナソニックのメンバー。パナソニック CNS社イノベーションセンターの里雄二氏（左上）と藤松健氏（左下）、PSNRDの竹中慎治氏（右上）と花沢和紀氏（右下）（クリックで拡大）

　パナソニック CNS社としては、EPIC-KITCHENS-100などを通して将来的な動作予測AI技術の開発につなげて、重点事業領域として挙げている「パブリック」「製造」などの分野に適用したい考えだ。

⇒その他の「組み込み開発インタビュー」の記事はこちら

住空間データのImageNetとなるか、パナソニックがAIデータセットを公開する狙い
パナソニックは「CVPR2021」において2件のAI技術が採択されたと発表。このうち1件と関わる住空間向けデータセット「Home Action Genome」は、同社が独自に構築したもので、住空間向けでは従来にない大規模なデータセットであるにもかかわらず無償で公開されている。その狙いについて、パナソニックテクノロジー本部の担当者に聞いた。
「パナソニックの持つ多様性を価値に転換する」、新CTOの小川氏が会見
パナソニックの技術トップとして新たに執行役員 CTO、薬事担当に就任した小川立夫氏がオンライン会見を行った。今回の会見は、小川氏のパナソニックにおける経歴や技術開発についての考え方などを説明すもので、具体的な研究開発の方向性などについて踏み込むことはなかったが、その基盤となる考え方を示唆する内容となっていた。
パナソニックが目指すAI活用の方向性とは「AIも半導体設計も同じことが起こる」
機械学習自動化プラットフォームを展開するデータロボットが開催した「DataRobot×パナソニックトークセッション～日本の製造業におけるAI利活用の最前線～」で、パナソニックビジネスイノベーション本部 AIソリューションセンター戦略企画部部長の井上昭彦氏が登壇。同社におけるAI技術普及の取り組みなどについて語った。
パナソニックが目指すAIの“使いこなし”とは
パナソニックがAI（人工知能）の活用に注力する姿勢を鮮明にしている。2017年4月に新設したビジネスイノベーション本部傘下のAIソリューションセンターは、AIの“使いこなし”を進めて、従来にない新たな事業の立ち上げも担当していく方針だ。同センター戦略企画部部長の井上昭彦氏に話を聞いた。
パナソニックの顔認証ゲートが出入国管理に採用された理由は“共創”にあり
パナソニックコネクティッドソリューションズ（CNS）社とパナソニックシステムソリューションズジャパン（PSSJ）が、法務省の入国管理局に採用された「顔認証ゲート」について説明。高度な顔認証技術の他に、CNS社のイノベーションセンターやデザインセンターが加わった共創活動が採用の決め手になったという。
真横や顔の一部が隠れていても判別可能な高精度の顔照合技術を開発
パナソニックは、シンガポール国立大学と共同で精度の高い顔照合技術を開発した。顔の向きが真横あるいは顔の一部が隠れていても個人を判別でき、従来の技術と比較して顔照合性能が最大5倍改善している。