NVIDIAが人型ロボット開発を加速、「Apple Vision Pro」の遠隔操作データを活用：ロボット開発ニュース

NVIDIAは、コンピュータグラフィックスのイベント「SIGGRAPH 2024」において、同社の3Dコラボレーション／シミュレーション基盤である「NVIDIA Omniverse」とロボット開発基盤「NVIDIA Isaac」をベースに人型ロボット開発を容易にするソリューションを発表した。

[朴尚洙，MONOist]

　NVIDIAは2024年7月29日、コンピュータグラフィックスのイベント「SIGGRAPH 2024」（2024年7月28日〜8月1日、米国コロラド州デンバー）において、同社の3Dコラボレーション／シミュレーション基盤である「NVIDIA Omniverse（以下、Omniverse）」とロボット開発基盤「NVIDIA Isaac（以下、Isaac）」をベースに人型ロボット開発を容易にするソリューションを発表した。

人型ロボットの開発に「Apple Vision Pro」などで記録した遠隔操作データを活用する［クリックで拡大］ 出所：NVIDIA

　今回のソリューションで重要な役割を果たしているのが、コンテナベースのAI（人工知能）推論モデルのマイクロサービス「NVIDIA NIM（以下、NIM）」である。人型ロボット開発向けにNIMの新たなマイクロサービスとなる「MimicGen NIM」と「Robocasa NIM」が追加された。

　MimicGen NIMは、「Apple Vision Pro」などで記録した人型ロボットの遠隔操作データから合成モーションデータを生成することができる。一方、Robocasa NIMは、Omniverseの標準フレームワークであるOpenUSD上で、人型ロボットのAI推論モデルを再学習するのに必要なタスクとシミュレーション環境を自動生成する機能を有している。

　NVIDIAは2024年3月開催の「GTC 2024」において、人型ロボットの開発を加速するべく、基盤モデルの開発プロジェクト「GR00T」や「Isaac Lab」、AIモデル学習のクラウドサービス「NVIDIA DGX Cloud」とクラウドベースのOmniverseの開発環境「NVIDIA Omniverse Cloud」をつなぎ、Omniverseに基づくデジタルツイン連携で人型ロボットの開発を加速するオーケストレーションサービス「NVIDIA OSMO（以下、OSMO）」などを発表している。

　今回発表したMimicGen NIMとRobocasa NIMは、GTC 2024で発表した人型ロボット開発に向けたソリューションやサービスを拡充するもので、人型ロボットの開発者がApple Vision Proなどを用いて記録した最小限の遠隔操作データから、大量の合成モーションと知覚データを生成できるようになる。

　開発者による人型ロボットの遠隔操作データとMimicGen NIMを用いて生成した合成モーションデータセットと実データを組み合わせてGR00Tの人型ロボット基盤モデルの学習を行えば、開発にかかる期間やコストを低減できる。そして、Isaac Lab上で動作するRobocasa NIMを用いれば、人型ロボットAIモデルの再学習を行うためのデータや環境を生成できる。さらに、OSMOを用いれば、NVIDIA DGX CloudやNVIDIA Omniverse Cloudのコンピューティングジョブのリソース割り当てをシームレスに実行してくれるので、ワークフローの管理作業からも解放されるとしている。

　なお、開発した人型ロボットAIモデルをロボット内に組み込む際には、次世代の組み込みAIボードである「Jetson Thor」の適用が想定されている。GR00TやIsaac Lab、OSMO、MimicGen NIMとRobocasa NIM、そしてJetson Thorなどについては、NVIDIAの人型ロボット開発者プログラム（NVIDIA Humanoid Robot Developer Program）に参加することで早期アクセスできるという。

⇒その他の「ロボット開発ニュース」の記事はこちら