本シリーズではこれまでの3回で、5,000種類の動作、50の空間、10,000点の物体画像を取り上げてきました。それぞれに単体での価値はありますが、本質的にはいずれも素材です。最終回となる今回は、それらの素材が初めて1つのパイプライン上で組み合わさった記録をお届けします。

Phase 2における合成データの取り組みは、量産が目的ではありませんでした。3種類のアセットをシミュレータ内で実際に組み合わせ、使える学習データを生成できるかどうかを確かめる、パイプラインのPoC（概念実証）です。この記事では、その過程で検証できたことと、これから解くべき課題の両方を記します。

この記事の要点

• Phase 2の合成データ作業は量産ではなく、3種類のアセット（動作・空間・物体）をシミュレータ上で結合できるかを確かめるパイプラインのPoCでした。
• アセットは消費されず再利用されるため、生成するシーン数が増えるほど1シーンあたりのコストは下がります。実写撮影はシーンごとに新たなコストが発生します。
• シミュレータの価値は「どれだけ実写らしく見えるか」ではなく、シミュレーションで学習したモデルが実環境へ転移できるか（Sim-to-Real）にあります。

合成データとは

実世界で撮影するのではなく、シミュレータが生成する学習データのことです。シミュレータはシーンのすべての状態を把握しているため、正解ラベル（Ground Truth）を自動的に生成できます。

なぜ合成データがコスト構造を変えるのか

実世界で1〜5分のシーケンスを1本撮影するには、ロケーション、出演者、制作クルーを確保する必要があります。私たちはPhase 1で、そのコスト構造を身をもって経験しました。

これに対し、合成シーンのレンダリングに必要なのはGPUの計算時間、数秒単位で済むこともあります。もちろん、コストがゼロになるわけではありません。合成の構成要素となる空間・動作・物体のアセットを作成する初期コストは依然として発生します。

決定的な違いは、これらのアセットが消費されるのではなく再利用できる点にあります。実写撮影はシーンごとに新たなコストが発生しますが、アセット作成のコストは一度支払えば、そこから生成されるすべてのシーンに分散されます。生成するシーンの数が増えるほど、1シーンあたりのコストは下がっていきます。

［図1］概念図（相対比較）——アセット制作コストは、生成するシーン数に応じて分散される

実写撮影と合成データのコスト構造（要約）

パイプライン：3種類のアセットをIsaac Simで統合する

第2回で紹介した3DGS（3D Gaussian Splatting）環境の上に、第3回で物理演算に対応したメッシュとして構築した物体を配置し、第1回の動作アセットから作成したデジタルヒューマンをアニメーションさせます。

さらに、ドメインランダマイゼーション（Domain Randomization）によって照明、マテリアル、カメラ視点、物体の配置を変化させ、同じシナリオから複数のバリエーションをレンダリングします。人体モデルは体型に依存しないニュートラルな設計とし、アセットが追加されるにつれて体型の多様性を広げられるようにしています。

ラベルはレンダリングと同時に自動生成されます。バウンディングボックスとセグメンテーションマスクは標準で得られ、さらにシミュレータからは、実世界の撮影では取得が難しい情報——深度（Depth）、オプティカルフロー、姿勢（Pose）、3Dバウンディングボックスなど——も出力できます。原理的には、シミュレータがシーンについて知っている情報は、すべてラベルになり得ます。

［図2］概念図——1つのシーンから9通りのバリエーション（実際のレンダリング結果ではありません）

合成データをどう検証するか

合成データの品質を検証するうえで最も重要な基準は、きわめてシンプルです。レンダリングされた人物は、壁や床と正しく相互作用しているか——これに尽きます。

人物の足が地面から浮いていたり、床をすり抜けていたりするシーンは、学習データとして使えません。難しいのは、この検証を自動化することが極めて困難だという点です。

現在のアプローチは反復的です。出力を可視化して人手で誤りの類型を特定し、その誤りを検出するテストを書く。そして再び結果を可視化して、次の失敗モードを見つける。このループを回しながら、検証フィルタを何層にも積み上げてきました。

課題も残っています。現時点では、空間環境とアニメーションのデータをそれぞれ独立に抽出し、後処理で整合させています。次のフェーズでは共同最適化（Joint Optimization）——空間情報とアニメーション情報を最初から一緒に最適化し、後から擦り合わせるのではなく、撮影した映像から両方を同時に復元できるようにするアプローチ——の検討を予定しています。

「フォトリアルであるほど良い」という誤解

合成データについては、よくある思い込みがあります。実写に近く見えるほど価値が高い、という考え方です。

このパイプラインを構築した経験から言えるのは、そうではないということです。シミュレータの本当の価値は、どれだけ本物らしく見えるかではなく、シミュレーションで学習したモデルが実世界へ問題なく転移できるかどうかにあります。

見た目の再現、すなわちReal-to-Simは必要な土台です。しかし、Sim-to-Realの転移を成功させるには、それ以上のものが求められます。質量や摩擦といった物理特性、センサーノイズやレイテンシといった観測条件、そして実世界では撮影が難しい稀少なシナリオを意図的に構築することです。

だからこそ私たちは、現実に由来するアセットから出発しながらも、見た目のリアルさそのものをゴールとは考えていません。

世界の潮流：規模で攻めるか、効率で攻めるか

中国はこの1年で40か所を超えるロボット学習センターを設立し、人とロボットの稼働時間を通じてデータを蓄積する、規模志向のアプローチを取っています。

私たちが検証した道筋は、これとは異なります。物理的な施設の規模で押し切るのではなく、プロセスの効率——実世界のデータを再利用可能なアセットに変え、仮想環境で再現できるようにすること——に重心を置くアプローチです。

この2つは排他的な関係ではありません。ただし、資本と人員の規模だけでは勝負できない組織にとって、再利用可能なデータ生産モデルの価値はいっそう大きくなります。

よくある質問（FAQ）

Q1. 合成データだけでロボットを学習させられますか？

いいえ。実世界のデータが基準点となり、合成データはそれを増幅・補完する役割を担います。合成データは特に、エッジケースのカバレッジを高めるうえで有効です。

Q2. どのようなラベルを自動生成できますか？

バウンディングボックスとセグメンテーションマスクが標準です。さらにシミュレータからは、深度、オプティカルフロー、姿勢、3Dバウンディングボックスをはじめ、シミュレーション内で参照できるシーン情報を出力できます。

Q3. ドメインランダマイゼーションとは何ですか？

データ生成時に、照明、マテリアル、カメラ視点、物体の配置といった環境要因を意図的に変化させる手法です。モデルが特定の環境に過適合することを防ぎ、より本質的な特徴を学習させる効果があります。

本シリーズはこれで完結です。Phase 1の生データ収集 → Phase 2のアセット化 → 合成データPoCによる生産パイプラインの検証。この流れこそが、私たちの言うPhysical AI Data Factory（フィジカルAIデータファクトリー）です。本格的な量産は次のフェーズで予定しています。

フィジカルAIのデータ開発や合成データの活用を検討されている企業さまは、ぜひ当社チームにご相談ください。

Superb AIは、産業現場のビジュアルデータを、企業が実際に活用できるインテリジェンスへと変換するビジョンインテリジェンス企業です。