現実のカフェを5分撮ればロボットの訓練場になる。Scaniverse USDZはAIキャラの舞台も変える

ロボットのAIをシミュレーションで賢く鍛えたのに、現実に置いた瞬間ぎこちなく止まる。この落差はロボティクスの世界で「sim-to-realギャップ」と呼ばれていて、AI×ものづくりの領域で長年ボトルネックだった。自分は10年以上現役でエンジニアをやっていて、副業でAIエージェントを組んで運用しているが、仮想空間で動く挙動と現実の挙動が噛み合わない問題は、VRChat のワールド作りやUnity で組むNPCの検証でも同じ根っこを何度も見てきた。

そこに一手打ったのが Niantic Spatial だ。2026年7月6日、Scaniverse に USDZ 形式でのエクスポート機能が追加され、360度カメラで撮った現実の風景をそのまま NVIDIA Isaac Sim / Isaac Lab に読み込めるようになった。ロボット学習の話に見えて、実は VRChat ワールドや AIキャラの舞台設計をやっている個人開発者にも地続きの技術なので、その中身と応用余地を整理する。

sim-to-realギャップとは何か——シミュレーションで学んだAIが現実で失敗する理由
Scaniverseが解いたのは「見た目」と「形状」のズレ——ガウシアンスプラッティングとメッシュ生成の仕組み
500ドルの360度カメラと撮影5分で3D環境データが作れる時代になった
1. VRChatワールド制作・Unity環境構築とも地続きの技術
現実空間をスキャンして仮想空間に持ち込む発想は、AIキャラの舞台設計にも応用できる
まとめ
参考
【PR】関連ツール・サービス
【PR】おすすめの書籍
1. あわせて読みたい

sim-to-realギャップとは何か——シミュレーションで学んだAIが現実で失敗する理由

sim-to-real ギャップは、シミュレーション内で訓練した AI 制御方針(ポリシー)を、現実のロボットに移した瞬間に性能が落ちる現象を指す。原因はシンプルで、シミュレーションの「見た目」と「触った時の物理」が、現実と微妙にズレているからだ。

従来のロボット学習は、CG で作った合成環境(Unity や Unreal に近い発想の仮想空間)で膨大な試行を回してポリシーを鍛えていた。合成環境は安全でコストも安いが、光の反射・床の摩擦・壁のわずかな凹み・家具の実際の配置——こういう細部が現実と違うと、ロボットは「見たことのない世界」に放り込まれた気分になる。人間で言うと、教習所の映像だけで運転を覚えた人がいきなり歌舞伎町の路地に突っ込むようなものだ。

この問題はゲーム AI や AIキャラの文脈でも他人事じゃない。VRChat のワールドで綺麗に動いていた AI NPC を、別のワールドや別の環境で試すと途端に挙動が変になる。学習時の前提と実行時の空間情報がズレると、判断が壊れる。ロボットで起きていることの縮小版が、実は VR 空間の中でも起きている。

Scaniverseが解いたのは「見た目」と「形状」のズレ——ガウシアンスプラッティングとメッシュ生成の仕組み

Scaniverse の新機能は、この「見た目」と「形状」のズレを一発で埋めにきた。ガウシアンスプラッティング(Gaussian Splatting)という 3D 表現技術で撮影データから三次元空間を再構成し、そこから整合済みのメッシュを自動生成して、両方をまとめて USDZ ファイルに書き出す構造になっている。

ガウシアンスプラッティングは、簡単に言うと「3D 空間に小さな楕円体(ガウス分布の粒)を大量にばら撒いて、それらの集合で見た目を再現する」手法だ。従来のポリゴンメッシュより現実に近い質感が出せて、フォトグラメトリー(写真から 3D を起こす技術)よりも計算が速い。ここ数年で一気に注目された表現形式で、Unity や Unreal でも読み込みプラグインが出始めている領域だ。

Scaniverse の面白い点は、視覚情報(見た目=ガウススプラット)と物理形状(触れる=メッシュ)を「同じ 1 回の撮影」から生成するところにある。従来は写真から見た目を作り、LiDAR で形状を測り、それらを後から位置合わせする工程が必要で、ここで必ず微妙なズレが発生していた。同一ソースから両方を生成すれば、そのズレ自体が原理的にほぼ生まれない。メッシュの奥行きはスプラットから計算されるため、単独のジオメトリスキャンより滑らかで精度の高い表面が得られると Niantic Spatial は説明している。

生成された USDZ は NVIDIA Isaac Sim または Isaac Lab に直接読み込める。Isaac Sim は NVIDIA が提供するロボットシミュレータで、物理演算とセンサーモデルが乗った本格的な学習環境だ。つまり、撮った現場をそのまま Isaac Sim の中に「引っ越し」させて、そこでロボットを訓練できる。実配置前に現場を再現した空間でポリシーを事前訓練できるという発想は、素朴に強い。

500ドルの360度カメラと撮影5分で3D環境データが作れる時代になった

もう一つ効いているのが、機材と時間のハードルが一気に落ちたことだ。従来の RGB カメラ + LiDAR による現場スキャンは、高額な専門機材が必要で、法人案件でしか成り立たない規模感だった。Scaniverse の新機能は、約500ドル(だいたい 7万円台)の 360度カメラで対応でき、撮影は 5 分程度で街路や広い屋内空間全体を捉えられる、と説明されている。

運用の流れも整理されている。

① 360度カメラで環境を撮影 ② Scaniverse のウェブ版にアップロード ③ ガウシアンスプラットとメッシュが自動生成 ④ USDZ に書き出して Isaac Sim / Isaac Lab に読み込む

この 4 ステップに畳んでいる時点で、個人開発者が触れる射程に入ってきた。実際、Niantic Spatial はサンプルの USDZ シーンをダウンロードできるフォームも公開している。まずサンプルを触ってワークフロー全体を体感してから、自前の 360度カメラ購入を検討する、という順番が現実的だと思う。

VRChatワールド制作・Unity環境構築とも地続きの技術

ここで creator 側の視点に降りてくる。ガウシアンスプラッティング + メッシュ + USD(Universal Scene Description) というスタック自体は、ロボット学習に閉じた技術じゃない。USD は Pixar が作った 3D シーン記述フォーマットで、Unity・Unreal・Blender・NVIDIA Omniverse まで広くサポートが進んでいる。

つまり Scaniverse で書き出した空間データは、Isaac Sim だけじゃなく、将来的には Unity や Unreal で作る VR ワールドの背景資産としても再利用できる筋がある。今日撮ったカフェを、明日 VRChat 上に建てて、そこに AIキャラを住まわせる——そういう発想が現実味を帯びる。「実在の空間 → 3D スキャン → 仮想空間に配置 → その空間で動く AI を学習」というパイプラインが、企業の特権ではなくなってきた。

現実空間をスキャンして仮想空間に持ち込む発想は、AIキャラの舞台設計にも応用できる

ロボットにとって現実空間の再現が重要なのは、そこで動くための物理制御を鍛えるためだ。ではAIキャラ、たとえば VRChat 常駐型の AI NPC や AIVTuber の生活舞台にとって、現実の空間スキャンは何を意味するのか。

答えは「文脈情報の粒度」だと自分は考えている。AIキャラが自然に振る舞うためには、キャラ本人の会話モデル(LLM の中身)だけじゃなく、周囲の空間が持っている情報——狭い?広い?窓は?モノは何がある?——を、キャラの判断ロジックに渡してあげる必要がある。今の AIキャラ実装の多くは、この「舞台」の情報が抽象的すぎて、どこで喋ってもだいたい同じ反応になりがちだ。

Scaniverse のように現実空間を高精度で 3D 化し、その空間メタデータ(部屋のサイズ・障害物配置・光の入り方)を LLM のコンテキストに流し込めるようにすれば、「窓際に立ったキャラが夕日を見ながら喋る」ような、環境ドリブンな挙動が組める。Unity × LLM で NPC を組んでいる個人開発者にとって、この方向は明確に伸び代がある領域だ。

もう一つ実務的な話をすると、ガウシアンスプラット + メッシュを USD で扱えるようになったということは、標準化されたパイプラインで空間資産を流通できるようになったということでもある。VRChat ワールド制作の受託・AI NPC 実装の受注・Unity × 空間 AI の研究開発補助——このあたりの案件は、3D スキャン → シミュレーション → キャラ配置という一連の技術を通しでハンドリングできる個人開発者にとって、差別化につながる可能性がある。今のうちに Scaniverse のサンプル USDZ を触って、Isaac Sim なり Unity の USD インポーターなりで動かしておくのは、悪くない投資だと思う。

まとめ

・sim-to-real ギャップは、シミュレーション学習と現実配置の間で AI 性能が落ちる現象・Scaniverse の USDZ エクスポートは、360度カメラ 1 台で現場を Isaac Sim に持ち込める入口を作った・視覚情報と物理形状を同一撮影から生成する構造が、見た目と形状のズレを原理から潰す・USD 標準化により、ロボット学習用の空間資産が Unity や VRChat ワールドにも流用しやすくなる・現実空間 → 仮想空間 → AIキャラの舞台という発想は、個人開発者の射程に降りてきた

技術のメインストリームはロボティクスだが、AIキャラや VR 空間を作っている側から見ても、ここから 1 年で確実に触ることになる領域だ。サンプル USDZ を触るところから始めておくと、次に来る仕事の話が「聞いたことある技術ですね」ではなく「触ったことあります」で入れるようになる。