Superb AIでは現在、マルチカメラ環境における3Dオブジェクト追跡技術（MTMC：Multi-Target Multi-Camera）の開発を進めています。これは、大規模空間に設置された複数のカメラを通じて多数の対象を精密に追跡する技術です。人の移動動線を把握することで空間の混雑度を算出したり、空間利用の効率化を支援するソリューションとして活用することが可能です。

しかし、このようなMTMCモデルを学習するためには、対象が正確にラベリングされた大規模なマルチカメラ映像データが必要になります。一方で、現実環境においてこのようなデータを収集することは、データ不足の問題により非常に困難です。

手作業によるラベリングは、対象数・フレーム数・ビュー数を掛け合わせた規模で作業量が増大し、膨大な時間とコストを要します。

この課題を解決するため、Superb AIの3Dチームでは**合成データ（Synthetic Data）**を活用したアプローチを採用し、NVIDIA Isaac Simエコシステムを基盤としたデータ生成パイプラインの構築を進めています。

本記事では、Superb AI社内で行われたエンジニア Song Chanyoung の発表内容をもとに、シミュレーション環境の高度化を進める中で直面した技術的課題と、その解決に向けた研究およびエンジニアリングの取り組みについて紹介します。

Sim-to-Realギャップ克服に向けた技術的アプローチ

合成データを活用することで、カメラキャリブレーション情報、バウンディングボックス（BBox）、深度マップ（Depth Map）、セマンティックラベルといった正確な教師データを自動的に生成することが可能になります。

しかし、シミュレーション環境で生成されたデータを実環境のモデルに適用するためには、いくつかの重要な技術課題を解決する必要があります。例えば、

• 合成アセットの確保
• 拡張性の高いドメインランダマイゼーション
• キャラクターの行動および群衆シミュレーション

などが挙げられます。これらはいずれもSim-to-Realギャップを縮小するために不可欠な要素です。Superb AIの3Dチームでは、シミュレーションエンジンおよびフレームワークへの深い理解を基盤に、以下のようなエンジニアリング課題への対応を進めています。

1. Gaussian Splatting（3DGS）レンダリング問題と2-Passワークアラウンド

実際の3D空間をシミュレータ内で実写に近い形で再現するため、Superb AIでは**3D Gaussian Splatting（3DGS）**技術を活用しています。

シミュレーション環境における物理的相互作用を実現するため、メッシュプリミティブはスプラッティングデータのProxy Primとして接続されます。 Proxy Primおよびマットオブジェクトは、Isaac SimおよびUSD環境において複雑な元アセットを直接扱う代わりに、物理計算やオクルージョン処理を簡素化するための重要な機能です。

しかし、不完全なメッシュにこの属性を適用した場合、レンダリングとラベリング機能の間で技術的な衝突が発生しました。

• メッシュを不可視（invisible）に設定するとレンダリングは非常にクリーンになりますが、アノテーターが物理的な遮蔽（Occlusion）を認識できず、キャラクターが壁の後ろに存在していても透過してラベリングされてしまう問題が発生します。
• 一方でメッシュを可視（visible）に設定すると、アノテーターは正常に動作しますが、レンダリング時にメッシュ領域に不要な影のアーティファクトが発生し、照明表現が歪む問題が生じます。

（Gaussian Splattingのレンダリング問題を解決した例）

この根本的なフレームワーク制約を解決するため、Superb AIの3Dチームは2-Passレンダリング方式のワークアラウンドを考案しました。

• 第1パス：メッシュを含めた状態でレンダリングを行い、アノテーターが正確な遮蔽計算を実行
• 第2パス：メッシュを除外してレンダリングを行い、3DGS本来の高品質な視覚表現を生成

この方法により、レンダリング品質とラベリング精度を分離して最適化することが可能になりました。

2. 人間の認知を考慮したカスタムアノテーターの開発

Isaac Simの合成データ生成フレームワークであるOmniverse Replicatorには、自動アノテーション機能が標準で提供されています。しかし、この基本アノテーターには課題があります。 対象物が遮蔽物に隠れており、カメラに数ピクセルしか映っていない場合でも、システムは対象全体を含む大きなバウンディングボックスを生成してしまいます。実際の人間の作業者であれば、このようなケースはノイズとして無視するか、より小さくタイトなバウンディングボックスを作成することが一般的です。

データ品質を向上させるため、Superb AIではReplicatorパイプラインを拡張し、人間の認知特性に近い動作を行うカスタムアノテーターを開発しました。

アルゴリズムの処理は以下の通りです。

1. セマンティックセグメンテーションラベルを利用し、画面上で実際に露出しているキャラクターピクセルのみを抽出
2. 抽出されたピクセルの連結輪郭（Connected Contours）を計算
3. 面積が一定の閾値（Threshold）以下の輪郭はノイズとして扱い、BBox生成時に除外

このようなピクセルレベルのフィルタリング処理により、実際の人間によるラベリングに近い高品質なBBoxデータを大量に生成することが可能になりました。

3. スクリプトベースのドメインランダマイゼーション

シミュレーション環境と実環境のギャップを縮小するためには、モデルが多様な環境条件を学習できるよう、データに十分な多様性を与える必要があります。

Superb AIの3Dチームでは、Pythonベースのスクリプトを活用したドメインランダマイゼーションパイプラインを構築しました。これにより、シミュレーション環境内の各種パラメータをプログラム的に制御し、多様な条件でデータを生成することが可能になります。

主なランダマイズ対象は以下の通りです。

照明

• 色温度
• 光源数
• 照明強度

カメラ設定

• 焦点距離などのレンズパラメータ

環境およびオブジェクトの材質

• キャラクターの衣装カラー
• 床材質や反射率

（ランダム化されたデータの例）

このようにUSD Stageを巡回しながらシーン内の属性値を自動的に変更しレンダリングすることで、単一のシーンからでも多様で大規模な学習データセットを効率的に生成することができます。

物理世界のAIに向けた合成データパイプライン

Superb AIの3Dチームは、シミュレーターが提供する標準機能にとどまることなく、NVIDIAエコシステムの技術的構造を深く理解し、独自のアルゴリズムとエンジニアリングによってその限界を克服しています。ロボティクスや空間理解など、AIが物理世界と相互作用する時代において、合成データパイプラインはAI開発基盤の重要な要素となります。

フィジカルAI時代に対応した高品質な合成データパイプラインにご関心がある方は、ぜひSuperb AIまでお問い合わせください。