深層学習で顔や目線の向きだけでなく行動内容も識別、オムロンのドライバー監視：自動運転技術

オムロンは、視線の向きや動作からドライバーの運転への集中度を推定する「ドライバー見守り車載センサー」を開発した。2016年6月に発表した技術をさらに進化させたもので、2019〜2020年ごろの量産を目標とする。

[齊藤由希，MONOist]

視線の向きや動作からドライバーの運転への集中度を推定する「ドライバー見守り車載センサー」（クリックして拡大）

　オムロンは2017年9月27日、東京都内で会見を開き、視線の向きや動作からドライバーの運転への集中度を推定する「ドライバー見守り車載センサー」を開発したと発表した。

　2016年6月に発表した技術をさらに進化させたもので、近赤外線カメラで撮影したまぶたの開閉や視線の方向、動作の内容や身体の向きなどを組み込みディープラーニング（深層学習）で処理し、集中度を割り出す。消費電力は4Wに抑えた。

　自動運転車に関しては、実質的には運転支援システムである「レベル2の自動運転」を過信し、周辺監視を怠ったことによる交通事故が相次いだ。より上位のレベル3の自動運転であってもドライバーは必要に応じて運転に復帰しなければならない。

　オムロンは、2030年でもドライバーが責任を負うレベル3以下の自動運転車が主流だと見込む。そのため、ドライバーが運転に集中しているか、あるいはすぐに手動運転に復帰できるかを判断する機能が必要になることから、同センサーを開発した。産学連携のプロジェクトを通じて一般家庭の自家用車などに同センサーを広く搭載してもらい、運転中のドライバーのデータを集める実証実験も進めている。

　ドライバーモニタリング技術の市場規模は2025年に1500万台で、多ければ2000万台となる見通しだ。同センサーは2019〜2020年ごろの量産を目指す。

コックピットでデモンストレーションを実施した（左）。ステアリングの奥にドライバー見守りセンサーが装着されている（右）（クリックして拡大）

目や顔の向き、行動の内容から集中度を判断

　ドライバー見守り車載センサーは、3つの指標からドライバーの集中度を判定する。1つはドライバーが進行方向や周囲を注意して確認し、わき見をしていないか。2つ目はドライバーの行動内容、3つ目が運転席にいるかどうかだ。

　2016年に発表した技術と異なるのは、オムロン独自の顔画像センシング技術の進化により、マスクやサングラスの着用などで顔の一部が隠れていてもまぶたの開閉、視線や顔の向きを識別することが可能になった点だ。また、自動運転中でも運転席に人が座っていることを求める規制を踏まえて、運転席に座っていることもセンシングの指標とした。

　行動内容については、「センターコンソールの操作など運転上必要な短時間の行動」「スマートフォンの操作や飲食、携帯電話機での通話といったすぐ中断できる行動」「体調不良や居眠りなど運転に復帰できない状態」という3段階で識別する。

進行方向を見ている状態。「Eyes ON（進行方向を見ている）」「Readiness HIGH（運転にすぐに応じられる状態）」となっている（左）。わき見している状態で「Eyes OFF」となっているが、運転以外のことはしていないので「Readiness HIGH」という評価（中央）。サングラスをかけた状態でわき見しながら電話をかけている。「Eyes OFF」「Readiness MID」という評価になった（右）（クリックして拡大）

　運転中のドライバーの多種多様な行動をカバーする上では、実走行のデータを取り込んでデータベースを充実させ、ディープラーニングによる処理に反映した。実走行のデータ収集は名古屋大学と協力している。一般のドライバー数十名の協力を得て、運転中の顔画像、心電図や脈波、CANデータやGPS情報、車両の周囲の画像などを収集。今後3年で1000人までデータを提供するドライバーを増やしていく計画だ。

　実走行では集中力が低下した状態のデータが得にくいというデメリットがあるが、シミュレーターや助手席よりも実環境に近いのが利点となる。今後は、カメラ画像から体調不良の兆候を検出したり、非接触の脈波センサーを活用してより細かいバイタルセンシングを実現していく。

消費電力4Wでディープラーニングができる理由

オムロンの川出雅人氏

　開発したセンサーは、近赤外線カメラと画像データを処理するCPUで構成されている。CPUは車載用として広く採用されている低コストな製品を採用した。「一般的にいわれるディープラーニングは、画像を全て処理させるため大きな負荷がかかる。オムロンでは、処理に必要な特徴をある程度割り出して、処理が不要な部分を省くことで処理の負荷を大幅に軽減した」（オムロン 技術・知財本部 センシング研究開発センター 画像センシング研究室の川出雅人氏）というのが、安価なCPUでのディープラーニングを実現する決め手となった。

　「CEATEC JAPAN 2017」（2017年10月3〜6日、幕張メッセ）の会場では、ドライバー見守り車載センサーを体験できるコックピット型のデモンストレーションも実施する予定だ。