魚眼レンズのカメラ映像から高精度に角度推定、パナソニックHDが開発：安全システム

パナソニック ホールディングスは魚眼レンズのカメラ映像から高精度に角度を推定するカメラ校正技術を開発した。

[齊藤由希，MONOist]

　パナソニック ホールディングスは2024年6月5日、魚眼レンズのカメラ映像から高精度に角度を推定するカメラ校正技術を開発したと発表した。

　自動車やドローン、ロボットなどの自動運転システムに不可欠な位置決めやナビゲーションは、進行方向を高精度に推定できることを前提としている。そのためカメラやジャイロセンサーなどさまざまなセンサーを組み合わせるが、システムの小型軽量化や低コスト化のため、カメラの撮影画像のみで高精度に進行方向を割り出す技術のニーズが高まっているという。

　パナソニック ホールディングスは、広範囲の映像を撮影でき、監視や障害物検知など幅広い用途で用いられている魚眼カメラを対象に、これまでレンズの歪みによって困難とされていた角度推定の課題解決に取り組んだ。

　具体的には、建物や道路などの人工物はその面が直交すると仮定する「マンハッタンワールド仮説」に基づき、姿勢推定に用いられるネットワークを応用。レンズ歪みの大きい画像に対しても頑健かつ高精度にカメラ角度を推定できるようにした。市街地の一般的な画像からカメラ校正を行えるため、自動車やドローン、ロボットなどの幅広い用途での応用が見込めるとしている。

開発技術の概要［クリックで拡大］ 出所：パナソニックHD

　さまざまな物体が写り込む市街地の画像は、カメラの角度を推定する地面や垂直方向を捉えることが難しい。マンハッタンワールド仮説によって推定しやすくなるものの、1枚の画像のみではハードルが高い。従来は無限遠を見たときに収束する消失点の座標を複数求め、これらに基づいて算出していた。従来のこの方法は、消失点が3次元空間を直交するX軸、Y軸、Z軸の各軸の両端方向からなる6方向に対応している。

　開発技術は、従来の手法による6方向に加えて、補助対角点と呼ぶ8方向を新たに定義した。補助対角点はX軸、Y軸、Z軸のいずれに対しても45度または−45度の方向に定義される。AI（人工知能）の学習時に補助対角点を消失点と同様に扱うことで推定に利用できる情報量が増え、カメラの角度推定の頑健性と精度が向上した。

　街路樹が多く映り込むなど人工物が少ないシーンにも対応できるよう、従来は曲線検出に基づいていた消失点推定にヒートマップを用いる。ヒートマップは、人間の姿勢推定や骨格検出の分野で高い頑健性と精度を示しており、広く利用されている。これにより、開発技術では消失点の画像座標を直接推定するのではなく、画素ごとにその画素が「消失点である確率」を推定することで、「消失点である確率」が高い領域を消失点の画像座標として推定できるようにした。

　開発技術は、パナソニックグループの人材育成プログラム「REAL-AI」の研究成果として、IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）2024（米国シアトル、2024年6月17〜21日）の本会議で発表する。

開発手法が検出した消失点（VP）と補助対角点（ADP）の定性評価結果とヒートマップ。赤色◯と緑色×がそれぞれ正解と推定した消失点座標、桃色◯と水色×がそれぞれ正解と推定した補助対角点座標を示す。ヒートマップは消失点と補助対角点である確率が高いほど赤く、低いほど青く可視化されている。ヒートマップの下部に記載されたfrontは前方のように、3次元空間の方向を表すラベルを示す［クリックで拡大］ 出所：パナソニックHD

人工データを用いた歪みと傾き補正の定性評価。（a）左から右に入力画像、正解画像、5つの従来法の結果。（b）左から右に入力画像、正解画像、提案法の結果。桃色線が水平0度の方向、黄色線が水平±90度の方向、水色線が垂直0度の方向を示す［クリックで拡大］ 出所：パナソニックHD

→その他の「安全システム」関連記事はこちら