3DGS (3D Gaussian Splatting(ガウシアン・スプラッティング))と物理メッシュを組み合わせ、韓国の住宅50軒をロボットが移動・衝突・ナビゲーションできる3D空間へ。フィジカルAIの学習・シミュレーションに必要な空間データの構築方法を紹介します。

ロボットの学習環境を作ると聞くと、360°パノラマ画像を思い浮かべる人も多いかもしれません。しかし、「見ることができる空間」と「ロボットが実際に入れる空間」は同じではありません。

360°パノラマは、基本的にカメラを設置した位置から空間を見るためのものです。一方、ロボットの学習には、視点を自由に動かし、ロボットが空間を移動したり、物体と衝突したり、周囲を認識しながらナビゲーションしたりできる環境が必要です。

Superb AIは、韓国のSovereign AI Foundation Model Project（Dokpamo）Phase 2において、韓国の住宅50軒を3D空間として再構築しました。

本プロジェクトでは、3D ガウシアン・スプラッティング（3DGS）によるリアルな空間表現と、物体の物理的な動きを再現する物理メッシュを組み合わせ、ロボット学習やシミュレーションに利用できるデジタルツインを構築しています。

3D ガウシアン・スプラッティング（3DGS）とは？

3DGSは、複数の画像から現実の空間を3Dとして再構築する技術です。

単純に写真をつなぎ合わせるのではなく、空間内の光の分布を学習することで、さまざまな視点からリアルな映像を生成できます。

そのため、カメラで撮影した位置から見るだけでなく、仮想空間の中で視点を自由に動かすことができます。

つまり、3DGSによって、

「見るための画像」から「中に入れる空間」へ

と、現実の空間をデジタル上に再現できます。

これは、ロボットが現実世界で動作するためのAI、つまりフィジカルAI（Physical AI）の学習環境を構築する上でも重要な技術です。

見た目がきれいな3Dスキャンではなく、ロボットが使える空間を作る

3DGSを使ったデモや、高精度な機器で撮影した3Dスキャンは、非常に高いビジュアル品質を実現できます。

しかし、今回の目的は「見た目の美しい3Dモデル」を作ることではありませんでした。

私たちが目指したのは、3D撮影の専門家ではないオペレーターが、一般的なカメラで撮影した映像から、ロボットが利用できる3D空間を構築することです。

ロボットシミュレーションでは、

• 物体が実際に何メートルの大きさなのか
• 床がどこにあるのか
• 壁や物体がどこに存在するのか

といった情報が必要になります。

画面上できれいに見えることと、ロボットが物理法則に従ってその空間を移動できることは、まったく異なります。

今回のプロジェクトでは、ビジュアル品質だけでなく、実際のロボット学習やシミュレーションで利用できる構造的な正確さを重視しました。

人が見るためのスキャンと、ロボットの学習に使うためのスキャンでは、求められる要件が異なります。

3DGSと物理メッシュを組み合わせた2層構造

3DGSには一つの特徴があります。

空間全体を一つのデータとして再現するため、そこにある物体が個別のオブジェクトとして分離されているわけではありません。

そこで今回の空間データは、3DGSと物理メッシュの2層構造で構築しました。

3DGSは、住宅全体のリアルな背景や空間を再現します。

一方、ドア、引き出し、食器、衣類など、人やロボットが実際に触れたり操作したりする物体は、個別の物理メッシュとして作成し、3DGSの空間上に配置します。

例えば、ロボットがドアにぶつかる、ドアを開ける、物体を避けて移動するといった物理的なインタラクションは、物理メッシュによって再現します。

一方、3DGSは空間をリアルに見せる役割を担います。

この構造によって、リアルな見た目と、ロボットが利用するための物理的な情報を組み合わせることができます。

空間アセットは2層構造になっており、3DGSの背景の上に物理メッシュのオブジェクトを配置しています。

また、空間データの品質を評価するため、「衝突エラー10%以内」という基準を設定しました。例えば、人が壁をすり抜けたり、足が床に沈み込んだりするような、現実には起こり得ない状態をエラーとして評価します。

3DGSの点群だけでは空間の構造情報を完全に取得できないため、点群を壁や床の平面に合わせて調整することで、ロボットが利用できる空間としての整合性を高めました。

実際に動くことを検証するため、オフィス全体もデジタルツイン化

同じパイプラインを使い、Superb AIでは社内オフィス全体のデジタルツインも構築しました。

これはDokpamoの公式成果物とは別の社内プロジェクトです。

仮想化したオフィスの中に人と四足歩行ロボットを配置し、互いに衝突することなく空間内を移動できる環境を構築しました。

この過程では、広く利用されているNVIDIA Isaac Sim 5.1の環境において、人同士の衝突回避が適切に機能しない問題を直接修正しました。

さらに、複数の人が同時に存在する場合にも対応できるよう、標準の衝突回避ロジックを再設計しました。

その後、同様の改善の方向性はIsaac Sim 6.0にも反映されています。

この経験からも、現実の空間を3D化するだけでは、ロボットの学習環境として十分ではないことが分かります。

空間を再構築することから、その空間を使ってロボットの学習データを生成することまでには、さまざまなエンジニアリングが必要です。

フィジカルAIの学習環境をめぐる世界的な競争

ロボットが現実世界で動作するための物理空間を学習インフラとして確保する競争は、すでに世界規模で始まっています。

ドイツでは、ミュンヘン工科大学（TUM）とNEURA Roboticsが、ヨーロッパ最大規模のPhysical AIトレーニングセンターを発表しました。2,300平方メートルの施設に、総額1,700万ユーロの共同投資が行われています。

中国でも、過去1年間だけで40以上のトレーニングセンターが設立されています。

しかし、フィジカルAIの競争は、物理的な施設をどれだけ確保できるかだけではありません。

重要なのは、取得した現実空間を、再利用可能なデジタルアセットへ変換できるかという点です。

現実の空間をデジタルツインとして蓄積し、ロボットシミュレーションや学習データ生成に繰り返し利用できれば、物理施設への投資をより効率的にAI学習インフラへ変換できます。

3DGSから、フィジカルAIの学習データへ

フィジカルAIでは、AIが画像を見るだけでは十分ではありません。

ロボットが現実世界で活動するためには、

見る → 空間を理解する → 移動する → 物体と接触する → 操作する

という一連の能力が必要です。

そのためには、単なる画像や360°パノラマではなく、空間そのものを再現したデジタル環境が必要になります。

今回のプロジェクトでは、3DGSによるリアルな空間表現と物理メッシュを組み合わせ、ロボットが移動・衝突・ナビゲーションできる空間データを構築しました。

これは、現実世界の空間をフィジカルAIの学習データへ変換するための一つのアプローチです。

今後、ロボットが家庭、工場、物流センター、店舗など、より多様な環境で活動するようになるにつれて、こうした**「現実空間をデジタル化し、AIが学習できる形に変換する技術」**の重要性はさらに高まっていくと考えられます。

次のブログでは：空間を埋める10,000個のインテリジェント・オブジェクト

今回の記事では、**「ロボットが入れる空間」**をどのように構築したかを紹介しました。

しかし、ロボットが現実世界で活動するためには、空間だけでは十分ではありません。

ドア、引き出し、食器、衣類など、空間の中に存在する**「物体」**を認識し、理解し、操作する必要があります。

次回のPart 3では、これらの空間を構成する10,000個のインテリジェント・オブジェクトアセットについて紹介します。

FAQ

3D Gaussian Splatting（3DGS）とは？

3D Gaussian Splatting（3DGS）は、複数の画像から現実空間を3Dとして再構築し、さまざまな視点からリアルな映像を生成する技術です。

カメラの撮影位置だけではなく、仮想空間内で視点を自由に動かせるため、デジタルツインやロボットシミュレーションなどへの活用が期待されています。

Matterportなどの室内3Dスキャンとは何が違いますか？

一般的な室内スキャンは、人が空間を見ることを主な目的としています。

今回構築した空間データは、ロボットの学習・シミュレーションで利用することを目的としています。

現実のスケールや床面を再現し、さらにインタラクションが必要な物体を物理メッシュとして分離することで、ロボットが空間内で移動・衝突・操作できる環境を構築しています。

3DGSで作成した空間データはどのシミュレーターで利用できますか？

今回の空間データは、NVIDIA Isaac Simへの統合・動作を前提として構築・検証しています。

住宅以外にも利用できますか？

はい。今回のパイプラインは、住宅以外のさまざまな空間にも応用できます。

例えば、

• 工場
• 物流センター
• オフィス
• 店舗
• 倉庫
• 公共施設

など、ロボットが活動するさまざまな環境への応用が考えられます。実際に、今回のプロジェクトでもオフィス空間のデジタルツインを構築しています。

Superb AIは、産業現場から取得される視覚データを、企業が活用できる知能へ変換するVision Intelligence企業です。データ基盤の構築からAIモデル開発、フィジカルAIの学習データ生成まで、現実世界で機能するAIの実現を支援しています。