高速CMOSセンサーが自動運転を変える、人間の眼を超える画像認識技術とは：自動運転技術（2/2 ページ）

1000fpsの撮影が可能な高速CMOSセンサーを用いた画像処理技術の普及と用途拡大を目指す組織「WINDSネットワーク」の創設記念総会で、日産自動車 モビリティ・サービス研究所 所長の三田村健氏が特別講演に登壇。「自動運転には人間の眼を超えて認知するための画像認識技術も必要だ」（同氏）とし日産自動車の研究事例を紹介した。

[齊藤由希，MONOist]

人間の眼を超えると何ができるか

高速CMOSセンサーによる画像処理は、時間的な変化を見やすくする （クリックして拡大） 出典:日産自動車

　高速CMOSセンサーは人間の眼以上の画像処理を実現する。従来のカメラや人間の眼は30fpsが限界で、時速150kmで移動する物体を30fpsで追うと1フレームで140cmも進むことになる。1000fpsであれば、1フレームで4.2cmの移動を追うことができ、対象の時間的な変化を見やすくする。これを活用することで、歩行者や標識、信号を検知する画像処理の負担軽減が見込まれる。

　高速CMOSセンサーにより、単純な画像処理で高精度な移動体検知が可能になる。例えば歩行者が飛び出してきた場合は、画像をエッジ化して画像中の各点がどれくらい同じ場所にとどまっているかを分析し、大きく動くものを強調する。これにより、従来のフレームレートのCMOSセンサーよりも短時間で歩行者を検知できるようになる。

通常のフレームレートでは飛び出してきた瞬間しか分からない（左）。高速CMOSセンサーを使えば物体の移動量が分かる（右） （クリックして拡大） 出典:日産自動車

　ストロボと組み合わせることで、逆光や太陽光、照度の高低などに影響を受けずに撮影することも可能になる。具体的には、ストロボを連続して発光させながら撮影し、ストロボが当たっていないフレームと当たったフレームの差分をとる。これにより、ストロボの反射光だけを可視化し、他の光源や反射光を無視することが可能になる。

余計な光の影響を受けずに映像を撮影することができる （クリックして拡大） 出典:日産自動車

　この仕組みを実際の道路で使用すると、背景にさまざまなものが写り込んだ中から標識だけを検出することができる。実証実験の結果、昼間だけでなく夜間も有効な手段であることが明らかになったという。

ストロボに反射した標識のみを撮影可能になる（左）。夜間は街灯の明かりを無視して標識のみを撮影できる（右） （クリックして拡大） 出典:日産自動車

　さらに、高速CMOSセンサーは肉眼では分からない照明の点滅まで撮影することができる。信号機やイルミネーションなど、光源は発電時の周波数に合わせて点滅している。これを利用して、信号だけを見つけやすくすることが可能だ。撮影した元の映像から色を取りだすことで、信号の位置と色が識別できる。実験では、200m先でも信号機の光の検出が可能だった。

高速に点滅する光源＝信号のみを検知することができる（左）。信号の位置と撮影した色を組み合わせれば信号の識別が容易に（右） （クリックして拡大） 出典:日産自動車

　高速CMOSセンサーは、先進運転支援システム（ADAS）や自動運転で必要となる歩行者や標識、信号の検出を容易にし、外部環境の明るさに左右されにくくする役割が期待できそうだ。