　最初に紹介したのは、マーカーレスによる形状認識だ。具体的には、マイクロソフトが現在プレビュー版を公開している「Azure Object Anchors」を用いた、AI（人工知能）形状認識による3Dオブジェクトの表示位置の自動化に関する取り組みである。同技術を活用することで、例えば、HoloLens 2を装着した作業者が実車の前に立つと、自動的に車両の形状認識を行い、必要な3Dオブジェクトや情報をマーカーレスでMR空間の決まった位置に投影表示するといったことが可能になる。「一般的に、3DオブジェクトをMR空間の決まった位置に表示するにはマーカーを用いることになるが、お客さまの車両にキズを付けてしまう恐れや作業効率面での課題もあり、マーカーレスを実現できる技術を調査していた」（栢野氏）。今回、マイクロソフトからの提案によって、Azure Object Anchorsの先行開発に参加することができたのだという。

「Azure Object Anchors」を活用した形状認識［クリックで拡大］出所：栢野氏の投影スライド

　続いて紹介したのは、同じくマイクロソフトのデバイス管理ツール「Endpoint Manager」（旧：Intune）の活用だ。具体的には、全国57店舗の販売店（GRガレージ）に対してHoloLens 2を展開する際に活用した。予備や開発用を含めて100台以上ものHoloLens 2の設定、管理に役立てることができ、初期設定工数を大幅に低減。ITに精通した人材が少ない販売店へのHoloLens 2の展開に際して、クラウドベースで機器管理ができるEndpoint Managerは欠かせない存在だったという。

　さらに、SVG形式の回路図の情報をHoloLens 2上で3D表示することにも挑戦した。こちらはUnityと「SVG Viewer」を用いた取り組みとなる。「数多くのアセットが用意されており、試行錯誤しながら結果をすぐに試せるというUnityならではの利点を生かし、完成イメージに近づけながら楽しく開発を進めている」と栢野氏は述べる。

SVG形式の回路図の情報をHoloLens 2上で3D表示［クリックで拡大］出所：栢野氏の投影スライド

試行（1）：MR Remote Product Review

　講演では、現在同社が試行中の技術開発、IT活用の取り組み事例についても紹介した。

　大規模な3DオブジェクトなどをxR空間で共有できる技術が生み出されつつある昨今、同社においても、それぞれ遠隔地にいる関係者同士があたかも同じ空間にいるかのように、デザインレビューを実施できる環境（MR Remote Product Review）の構築を模索している。

　その具体的な取り組みとして、栢野氏は、3Dオブジェクトをリモート（レンダリングサーバ）でリアルタイムにレンダリングして、その結果を現場のHoloLens 2に表示できるマイクロソフトの「Azure Remote Rendering」（以下、ARR）という技術を活用した試行例を紹介した。それも、ただARRで車両の3Dモデル（約5000万ポリゴン）をリモートレンダリングしてHoloLens 2に表示するだけでなく、「Azure Kinect」を用いて遠隔地にいる解説者の動きをモーションキャプチャーし、アバターとして同じ空間に投影して、アバターの腕の動きと3Dモデルの挙動（断面表示位置の指定）が連動するシステムを構築した（アバターは視聴側のHoloLens 2のアプリ内で描画）。「実運用に向けてはまだ課題も残るが、移動が困難な昨今、こうした取り組みにも挑戦している」（栢野氏）。

「Azure Remote Rendering」＋アバター解説者システムの構成［クリックで拡大］出所：栢野氏の投影スライド

　さらに、3Dキャプチャー技術を利用して、MR空間に本人と同じイメージ（アバター）をリアルタイムに映し出す、“ホロポーテーション”に関する試行にも取り組んでいるという。ホロポーテーションの実現といえば、マイクロソフトが2021年3月に発表した「Mesh」が話題となったが、Meshは現在開発中の技術でSDKも未公開ということもあり、同社では「既存技術を組み合わせて、何とかアバターとリアル、ホログラムでのデザインレビューが実現できないかとチャレンジした」と栢野氏は話す。講演では、「まだパフォーマンスに課題がある」（栢野氏）としながらも、会議室に実際にいる人、遠隔地にいながらホロポーテーションによって参加する人、同じくリアルアバターで参加する人の3人（現実にはそれぞれ別空間にいる3人）でデザインレビューをする様子を映像で紹介した。