　生体センシングは、ドライバーや乗員の状態推定に使用する。ドライバーモニタリングシステムの近赤外線カメラによって、肌の明るさを基に脈拍に伴う血流量の変化を検知する。これにより専用の脈拍センサーを使うことなく、脈拍を測定することが可能になるという。また、ドライバーモニタリングシステムのトラッキング技術を活用し、外光変化の大きい走行環境でも顔の動きを追跡し、安定した脈拍の計測を可能にする。さらに、乗員の体表温度も組み合わせて解析することで疲労や眠気、体調の急変といった状態をより正確に検知し、安全な場所に自動運転で退避して事故を防いだり、乗員の状態に合わせた空調や照明、音響に調整したりする。

近赤外線カメラや温度センサーを使った乗員の状態推定（クリックして拡大）出典：三菱電機

　HMIには、複数人の音声を分離して認識する技術を搭載する。広角の近赤外線カメラとアレーマイクを設置し、カメラが捉えた話者の口の位置や動きと、アレーマイクが収音した音声を組み合わせて分析し、どの座席の人がいつ話したかを判別する。複数人が同時に会話する騒がしい状況でもそれぞれの音声を聞き取り、おのおのの要望に応答する。

　さらに、奥行き感のある映像を表示できる「ワイドクロッシングディスプレイ」、複数の機能をタッチ操作や回転、プッシュ操作などによってシンプルに操作できる「リングノブオンディスプレイ」もEMIRAI Sに採用する。ワイドクロッシングディスプレイは、2つの液晶パネルとハーフミラーを組み合わせることで浮遊感のある表示が可能になる。注意喚起の情報などを浮き上がったように見せることで強調する。

複数の人が会話していても、誰がいつ話したかを判別（クリックして拡大）出典：三菱電機

開発中のディスプレイや操作系も採用する（クリックして拡大）出典：三菱電機

音声認識に視線や感情、眠気検知を組み合わせ、より柔軟なエージェントに
Nuance Communications（ニュアンス）は、消費者向けエレクトロニクス展示会「CES 2019」（2019年1月8～11日、米国ネバダ州ラスベガス）において、カメラによる視線検知と音声認識技術を組み合わせた開発中の新機能を披露した。開発技術は、POI（Point of Interest）検索やストリーミングサービス、リアルタイムな情報を得る場合にはクラウド連携が必要だが、それ以外については車載情報機器側で処理が終えられるという。
三菱電機の新開発ヘッドアップディスプレイ、高精度測位で車線に合わせてAR表示
三菱電機は、「第45回東京モーターショー 2017」において、HMI（ヒューマンマシンインタフェース）の新技術を盛り込んだコンセプトカー「EMIRAI4」を出展する。
ドライバーの意思をもっと分かりやすく伝えたい、LEDで路面にクルマの動きを表示
三菱電機は車両の後退やドアが開くことを光で知らせる技術「安心・安全ライティング」を開発した。車両に注意喚起のマークを表示したり、路面に車両の挙動を示す図形を投影したりする。2020年度以降の事業化を目指す。
パナソニックが車内外のセンシングにTOFカメラを提案、“1台3役”を強みに
パナソニックは、NVIDIAのユーザーイベント「GTC 2019」（2019年3月19～21日、米国カリフォルニア州サンノゼ）において、車内外のセンシング向けにTOF（Time Of Flight）方式の2種類のカメラを提案した。車内向けではジェスチャーによる操作や乗員の姿勢や行動を認識し、車外向けでは“1台3役”で周辺監視を行う。周辺監視用はハードウェアの工夫で解像度の向上を進め、最短で2024年ごろの製品化を目指す。
パナソニックのクルマの作り方、デザイナーとエンジニアで一緒に企画すると……
現時点では無人運転車は市場に出ておらず、使ったことがある人もいない。そういったモノについて、どのように使い方や在り方を考えたのか。パナソニックに話を聞いた。
レベル3の自動運転の普及は伸び悩む？提案は無人運転シャトルや小口配送に
「レベル3のシェアは2030年から横ばい」という市場予測を反映してか、2019年のCESでは無人運転車に関する展示が多くみられた。ドライバーが運転に復帰する必要のあるレベル3の自動運転と、システムが全ての動的運転タスクを担うレベル4～5。それぞれについて、2019年は法的な議論や技術の熟成が一層進みそうだ。