表情と視線からAIがおすすめメニューを提案、OKIがサブウェイで実証実験開始：スマートリテール

OKIは2021年8月2日〜6日にかけて、AIが表情や視線から顧客の興味関心を推定して、おすすめ商品をレコメンドする「提案型注文システム」の実証実験をサブウェイ渋谷桜丘店（東京都渋谷区）で実施する。

[池谷翼，MONOist]

　OKIは2021年8月2日〜6日にかけて、AI（人工知能）が表情や視線から顧客の興味関心を推定して、おすすめ商品をレコメンドする「提案型注文システム」の実証実験をサブウェイ渋谷桜丘店（東京都渋谷区）で実施する。多様な商品群から顧客の関心度合いが高い商品のみを提示することで、「迷って決められない」という悩みの解消を狙う。

表情推定と視線推定を組み合わせる

　提案型注文システムは、上部に表情認識用のカメラ、下部に目の動きを認識する視線センサーを搭載したタッチパネルを備えるキオスク端末上で稼働する。カメラとセンサーで取得したデータを基に、顧客の商品への関心度をAIが推定して、関心度が高い商品を「おすすめ商品」としてレコメンドする。なお、端末画面右側には手の挙動を認識するカメラを搭載しており、手の開閉によるジェスチャー操作にも対応している。

提案型注文システムを搭載したキオスク端末［クリックして拡大］

　具体的な使用の流れは以下の通り。まず顧客はメニュー選択画面上に表示されている6種類のメニューを眺める。すると、システム側が顧客の視線と表情を認識して、「注視時間が長く」、かつ「ポジティブな表情で見ていた」商品を「最も関心度の高い」商品としてピックアップする。

　視線と表情認識の2種類を組み合わせることで、「関心度の高い商品」と「単に説明文を読んでいるだけの商品」を区別する。例えば注視時間は長いものの、“ポジティブな表情”が検出できなかった商品は、説明を読むのに時間がかかっているだけで関心度が高いわけではないと判断される。

　なお、“ポジティブな表情”とは今回のシステム開発に際してOKIが独自に定義した表情カテゴリーだ。OKI イノベーション推進センター UX技術研究開発部の赤津裕子氏は「ニュアンスとしては笑顔に近いが、口角を挙げるなどのはっきりとした表情ではなく、食べたいと感じた時に生じる微細な表情である」と説明する。なお、表情推定用AIの学習に当たっては、日本人のさまざまな表情を収集したOKI独自の学習用データセットを使用した。

　メニュー画面は一定時間が経過すると自動的に遷移して、最も関心度合いの高い商品以外は全てリフレッシュされて、別の商品が表示される。これを繰り返して、最終的に関心度合いが高かった商品のうち、上位3種類をおすすめ商品として顧客に提示する。

「多すぎて選べない」を解決

　システムの導入で期待されるのが、「メニューが多すぎて迷ってしまう」という顧客の悩みの解決だ。例えば、サブウェイは主力メニューとしてさまざまな種類のサンドイッチを展開しており、それぞれの商品について、好みの「パンの種類」「トッピング」「野菜」「ドレッシング／ソース」を選択してカスタマイズするシステムになっている。カスタマイズにおける自由度の高さはサブウェイが支持を集める要因であるが、反面、特に食べたいものが決まっていない顧客からは「何を注文すればよいか分からない」という意見が出ることもあるという。

　赤津氏は「選択肢が多いと楽しさを感じるが、その反面、食べたいものが具体的に決まっていないと迷ってしまい、早く注文しなければと焦る可能性もある。そこであえて選択肢を絞り、提示することで、このような“決めきれない状況”の解決が支援できると考えた」と語る。

　今回の実証実験を通じてOKIは、実際の現場での視線／表情推定精度の確認と、AIレコメンドシステムの受容性検証を目的にする。将来的にはドライブスルーや、無人店舗などでのリモート接客といった分野への提案型注文システムの適用を構想している。具体的な商用化時期について、赤津氏は現段階で未定としつつも、「実証実験の結果を踏まえて、2022年度内に何らかのアクションを起こしたい」と説明した。

サブウェイ渋谷桜丘店の外観［クリックして拡大］

⇒その他の「スマートリテール」の記事はこちら