日立が「現場拡張メタバース」で原発原寸模型を移設、生成AIも活用：製造業メタバース（2/3 ページ）

[遠藤和宏，MONOist]

作業員の動きもメタバース上で再現

　原子力発電所実寸大模型の移設工事では、現場拡張メタバースプロトタイプシステムの作業として、LiDAR機能を備えたiPadで同模型の点群データを取得し、この点群データを基にメタバース上で3Dモデルを構築。iPadによる点群データの取得を各作業日で行うことで、同模型の解体、運搬、再構築の進捗を3Dモデルに反映した他、過去の3Dモデルや情報も比べられるようにした。

特殊なモニターシステムで原子力発電所実寸大模型の3Dモデルを紹介する日立製作所 研究開発グループ 先端イノベーションセンター 知能ビジョン研究部 リーダー 主任研究部員の大橋洋輝氏［クリックで拡大］

　さらに、現場の作業員が、LiDAR機能搭載のiPadにダウンロードした位置機能付きデータ収集アプリを用いて、原子力発電所の同模型に関する写真や動画、テキスト／音声メモ、3Dデータなどを位置情報にひも付けて3Dモデルに記録。併せて、作業員が着用した作業着型センサーにより作業員の行動と位置情報も検知し、検知されたデータを現場拡張メタバースプロトタイプシステムにより自動でトラッキングして3Dモデル上のアバターに反映した。

作業着型センサー［クリックで拡大］

作業着型センサーは背部に通信端末を搭載［クリックで拡大］

　これにより、現場にいる作業員の動きがリアルタイムに3Dモデル上で確かめられるようになった。作業着型センサーは、ジャイロセンサーや加速度センサー、通信端末などから成り、センシングした人の動きを通信端末を介して現場拡張メタバースプロトタイプシステムに届ける。加えて、同システムで、現場に配置されたネットワークカメラの映像を基にダイジェスト動画も自動生成できるようにし、動画でも移設工事の進捗状況を調べられようにした。

　これらの取り組みにより収集したデータは、同システムの検索機能で、時刻や位置の情報を基に絞り込みが行えるようにした。同システムには工程表などの関連図書も集約し一元管理して必要に応じて参照できるようにしたという。

　日立製作所 研究開発グループ 先端イノベーションセンター 知能ビジョン研究部 リーダー 主任研究部員の大橋洋輝氏は「このシステムは生成AIを用いた検索機能も備えているため、対話形式で見たい情報を抽出できるようになっている。例えば、『ペレスタ（原子力発電所の設備）付近で7月に収集したクレーン操作に関するデータを見せて』と生成AIに音声入力すると、2023年7月にペレスタ付近で収集したクレーン操作の画像や音声、動画、テキストなどが表示される」と語った。

特殊なモニターシステムで現場拡張メタバースプロトタイプシステムの検索機能について紹介する大橋氏［クリックで拡大］

　また、現地と遠隔地のメンバーをオンラインでつないだ夕礼を各作業日で開き、同システムの作業で収集したデータや構築した同模型の3Dモデルなどを共有し、当日作業の振り返りや翌日作業の打ち合わせを行った。なお、夕礼の内容は、同システムの音声認識により自動で書き起こしと要約が作成され、参加できなかったメンバーも後から要点を把握できるようにした。

　大橋氏は「夕礼では、1台のPCで現場拡張メタバースプロトタイプシステムの画面を大型モニターに投映し原子力発電所実寸大模型の3Dモデルなどを、現場のメンバーと、このPCとオンラインで接続した設計部のメンバーが確かめられるようにした。同システムで構築された3Dモデルは解像度を抑えているため性能が高くないPCやスマートフォンでも見られるようになっている」と述べた。

　こうすることで、遠隔地にいる設計部のメンバーが、移設工事の進捗状況を把握し、タイムリーな図面の発行や現場の実態に合わせた計画立案が可能となり、業務効率が向上した。