高精度なステレオビジョンを手軽に導入、「Stereo Vision IP Suite」を聞く：ステレオビジョンに挑戦するなら

ヒトの目で見たように情報を取得する「ステレオビジョン」の活用範囲は幅広いが、気軽に導入できるものではない――。そんな時代は終わった。富士ソフトと日本アルテラ、東京工業大学 實吉准教授が贈るステレオビジョンIPスイート「Stereo Vision IP Suite」が手軽さという新時代のステレオビジョンを提供する。

[PR／MONOist]

　まるでヒトが目で見たように情報を取得し、その情報を活用する――。

　2台のカメラから同時に撮影した映像を用いて3次元的な情報とする「ステレオビジョン」の活用範囲は幅広く、自動車の安全運転支援以外にもさまざまな応用が期待される。ただ、2台のカメラの歪み除去・位置調整やステレオ映像のマッチング、得られた3次元情報から物体の検知や追跡を行うなどさまざまなノウハウが必要であり、気軽に導入できるものではない。

　そんな中、富士ソフトが同社と東京工業大学 實吉敬二准教授、それと日本アルテラという3者共同開発によるステレオビジョンIPスイート「Stereo Vision IP Suite」（以下Stereo IP）を発売する。ステレオカメラ研究の第一人者と言える實吉准教授の知見をコンパクトかつ、手軽に利用できる注目のソリューションだ。

「Stereo Vision IP Suite」の評価キット

　そこで今回、富士ソフトの石井友盛氏、日本アルテラの生嶋氏、小山氏、それと實吉准教授にStereo IPついてお話を伺った。

――まずこのStereo IPの概略を教えてください。

石井氏：　今回提供するStereo IPは3ブロックで構成されたIPコア群とでもいうべきものです。2つのカメラモジュールから入力された映像データを、まずキャリブレーション（補正・校正）IPに入力します。次いで、キャリブレーションが済んだ2つの画像データを、ステレオデータに変換するIPに入力します。

　この2つは實吉先生と日本アルテラさんが共同研究された技術を弊社がIP化し、日本アルテラさんが保有するものです。その後段にある物体検知、あるいは物体追跡に関しては弊社が開発して保有しておりますが、これもまた實吉先生より技術指導を頂いております。ほとんどの部分はFPGA側で処理をしていますが、一部物体追跡についてはソフトウェアで記述され、Cyclone V SoC FPGAに搭載されたARM Cortex-A9 MPコア上で動作しております。この3つのIPの総称としてStereo IPとして展開します。

生嶋氏：　このキャリブレーションとステレオマッチングはいわゆる視差、つまり2つの映像のズレを見つけて距離に換算するため、必要な情報を抽出するものです。

　キャリブレーションのうち補正というのは、例えばレンズのゆがみによって画面端がゆがんでいる、といった場合にこれを補正するものです。一方の校正は、2つのカメラの位置間のズレ、あるいはカメラの回転などの影響を取り除くものです。

　ステレオマッチングはヒトの目と同様、対象が近くにあると右と左のズレは大きくなりますし、遠くにあるとズレは小さくなります。その特性を生かして三角法を利用し、カメラの焦点距離と2つのカメラの距離をベースに、FPGAで物体の距離まで算出します。これがステレオマッチングです。

實吉氏：　キャリブレーションはステレオビジョンにおいて、非常に重要な部分なのです。これまでステレオビジョンが重要視されてこなかったのは、キャリブレーションが十分に行われていないケースが非常に多かったからだと私は思います。

自身の知見が凝縮され、実装された「Stereo Vision IP Suite」と東京工業大学 實吉敬二准教授

　最近ですとOpenCVという画像演算ライブラリもステレオビジョンに対応しており、これを使うとキャリブレーションの誤差が0.5pixel前後になります。普通に見るとキレイなので「これで十分だろう」と思われるのですが、車などに利用することを考えると、この誤差では距離が正確に測定できません。このようなこともあり、ステレオビジョンは使いにくいと思われていました。

　ですが、最近ではキャリブレーションの重要性が認識されるようになり、需要が増えてきました。実際、0.1pixel程度の誤差範囲を狙うと従来手法では補正・校正が不十分なので、私は格子を利用した方法でこれを行っています。この方法が、今回の日本アルテラのIPに搭載されています。

　ステレオIPに関しては、1991年のモーターショーの際に展示した回路をほぼそのままの形で現在も使っています。当時は自由に探索長を変えることができませんでしたが、現在は画面をあらかじめブロックに分けた上で、長い探査範囲が必要な場合にはそれを並列で探索するような形でFPGAに実装しており、どんな画素数の映像でも対応できるようになっています。

石井氏：　物体検知についてはステレオマッチングIPから視差データというものが出力されますので、これを基にしてフレームごとに物体を検出します。同じ距離にあるオブジェクトを1つにグルーピングして、物体として認識するわけです。検出はフレームごとに行いますが、フレーム間でもその物体に1つのIDを割り当て、それを追跡する物体追跡機能も持ってます。

實吉氏：　2つのカメラによる視差画像で立体物を見ると、同じ物体は同じような視差をもつ物体として映ります。同じような「視差の塊」を見つければ、それは「物体」を見つけたことになるわけです。こうして見つけた（認識した）物体については動きの追跡や予測ができ、相対速度も分かります。ただ、物体検出については現在、SoCのHPS（Hard Processor System）側で行っていますが、これに関してはまだ改良が必要かな（笑）。

石井氏：これについて補足しますと、このステレオビジョンでは、使用されるアプリケーションに合わせて物体検知の特性を変えなければならないため、カスタマイズが必要となるからです。今後どのような市場でステレオビジョンが使われてゆくか、事例が増えるに従って精度も向上すると考えています。

――そのStereo IPを日本アルテラのFPGAで実装するメリットはどんなものがあるのでしょう？

小山氏：　今回は弊社「Cyclone V SoC FPGA」を採用して頂きました。弊社のSoC FPGAは信頼性を高めるための機能としてECCをさまざまな部分に搭載しておりますので、ステレオビジョンのように画像データが流れる際に何かエラーが発生しても、すぐに対処できます。

日本アルテラ プロダクト・マーケティング・マネージャの小山崇之氏

　また、FPGA内部は128bit幅のバスで相互接続されていますので、画像データのような重いデータでもスムーズな処理が行えます。また、バスで接続されたプロセッサとFPGA、それぞれの状態を確認しながらデバッグできる独自の仕組みも用意しておりますので、こちらもメリットになると思います。

生嶋氏：　ボードレベルで考えた場合、FPGAはハードウェアの処理が出来ますし、柔軟性もあります。例えばカメラの解像度が上がったり、フレームレートが増えたりすると、当然、処理量は増えますが、ソフトウェアで処理をする汎用プロセッサーだと消費電力が大幅に増加してしまいます。FPGAだとハードウェアで並列処理で対処できるので消費電力を抑えながら処理性能を上げることができます。こうしたFPGAの特性を生かせるのもメリットですね。

實吉氏：　私がステレオビジョンに取り組み始めた1988年頃、当時の一番の問題はリアルタイム性でした。そのころのマイコンの処理能力は0.5MIPS位でしたが、考えていた処理には500MPIS位の能力が必要で、現実的ではなかったのです。そこで、ロジックICを大量に使うことで毎秒10フレーム程度のモノを作り、ハードウェアで実現可能であることは実証しましたが、量産化は難しいだろうとも感じていました。

　そこでアルテラのFPGAに出会ったのです。1996年頃の話ですから、回路図の入力と言った手間はありましたが、それでもハードウェアの処理能力と柔軟性を入手できるのは大きな魅力でしたね。変更が柔軟かつ素早く行えるFPGAは大変気に入り、以来、ステレオビジョンについてFPGA以外を使うことはあまり考えなくなりました。

生嶋氏：　今後、お客さまがこれを使われて量産システムを作られる場合、必ず信頼性の問題が出てきます。日本アルテラのSoC FPGAはECCが豊富に搭載されていますし、お客様の機能安全認証取得を支援するための機能安全データ・パッケージというものがありまして、お客さまが弊社のデバイスを使って設計をする上でのガイドラインや必要なデータを提供します。ですので、機能安全の認定を取るときの作業期間の短縮が可能になることもメリットといえます。

――実際の利用例としてはどんなものが考えられるでしょう？

實吉氏：　私自身は車の衝突防止一本で開発してきましたので、これが何に使えるかという事を考えたことがないんですよ（笑）。逆にいろいろな方から、こんな用途に使いたいというお話を頂いて、それに沿って応用に取り組んできたといういきさつがございます。

　従来のカメラだと動きは分かりますが立体として認識していないので、セキュリティ分野での利用では、影が動いたりしても検出してしまいますし、ヒトの侵入を検知したいのに犬猫で反応してしまうなどの不都合もありえます。ですが、立体で撮ればそのような不都合は排除できます。あるいは道路工事の現場で公道側に監視カメラを置いておき、現場に入り込む車を検出して警報を出す、あるいはホームでの転落の検出といった応用もあります。工場のラインで、製品検査に使いたいという話も頂いています。

石井氏：　展示会などに出展をしていますと、車載はもちろん、産業系のお客様からの興味が多く感じられます。基本的にはヒトの目に代わることができる製品ですので、まずは危険予知ですとか、セキュリティ関係に可能性があるかな、という感触を得ております。

――そのStereo IPを実際にはどのようにシステムへ組み込んで行くのでしょう？

石井氏：　今回のStereo IPは日本アルテラ様の保有のIPと、弊社保有のIPの組み合わで構成されており、このIP群をお客さまにライセンス提供するのですが、最終製品にこれを実装して性能を出してゆくのは、お客さまの役割となります。

　弊社は日本アルテラさんのFPGAをお客さまのご要望に応じてカスタマイズおよびインテグレーションをしてゆくという形で長年協業しており、このStereo IPについても、ノウハウを持ったわれわれが、お客さまのシステムへのインテグレーションまでサポートしてゆくという形で対応します。

小山氏：　日本アルテラにとって富士ソフトさんはDesign Service Partnerというかたちで、お客さまの要件を実現できるパートナーと認定させていただいております。今回のStereo IPについても、製品への実装となればお客さまごとに違う要求がありますので、カスタマイズが必要となります。そのためサポートは非常に重要でして、日本アルテラのFPGAを知り尽くし、ハードウェアとソフトウェアの双方に知見を有する富士ソフトさんの存在があってこそ、お客さまの開発工数の短縮に繋がりますし、またIPを実装する作業を一番効率よく行えると考えています。

石井氏：　弊社は富士ソフトという社名の通りソフトウェア開発を行っておりますが、実はハードウェアの設計部隊も有しており、現在は250人程のエンジニアが在籍しております。また、弊社と日本アルテラさんは10年近いお付き合いがあり、これまではNios IIベースでの開発が主でしたが、ARMコアが実装されたSoC FPGAが日本アルテラさんから出荷されたことでARMベースにシフトしております。

「富士ソフトに依頼いただければ、ハード・ソフト・アーキテクチャ含めての提案から実現までがワンストップで実現します」とは、富士ソフト ソリューション事業本部 エンベデッド コア テクノロジー部 部長の石井友盛氏

　弊社は日本アルテラさんのハードウェアを知り尽くしており、またソフトウェアは社名の通り、自信をもってご提案できます。お客さまからすれば、富士ソフトに依頼すれば、ハード・ソフト・アーキテクチャ含めての提案から実現までがワンストップで実現するのもメリットになるのではないかと考えております。

　Stereo IPは既に販売が開始されており、性能評価をいち早く行える評価ボードも同時に販売されている。この評価ボードには評価用アプリケーションや各種ツールが付属する他、20時間分の無料サポートも付属する（3カ月限定）。ステレオビジョンの第一人者、實吉先生の経験と、富士ソフトと日本アルテラのノウハウが詰まったボードだけに、初めてステレオビジョンに挑戦する際、大きな助けになってくれるはずだ。