ロボットが周囲の部屋を完璧に認識できたとしても、オブジェクトを扱えなければできることはほとんどありません。

コップを持ち上げる、ドアを開ける、引き出しを引き出す——こうしたマニピュレーション（操作）こそが、家庭用ロボットが存在する理由そのものです。マニピュレーションを学習するために、ロボットには「個々のオブジェクト単位」のデータが必要になります。

Sovereign AI Foundation Model Project（Dokpamo）Phase 2において、Superb AIはロボットが頻繁に操作すると想定される生活用品から、10,000個のオブジェクトアセットを構築しました。

Part 2で紹介した構造で言えば、これらは3D ガウシアン・スプラッティング（3DGS）の背景の上に配置され、実際のインタラクションを担うオブジェクトにあたります。

インテリジェント・オブジェクトアセットとは？

インテリジェント・オブジェクトアセットとは、インスタンスセグメンテーションによってピクセル単位でオブジェクトを切り分けるだけにとどまらないオブジェクトデータのことです。ドアや引き出しのように動くオブジェクトについては、回転軸や可動範囲といった関節（アーティキュレーション）情報と機械的特性まで含めることで、シミュレーション内でそのオブジェクトが現実に即した挙動を再現できるようにしています。

新規撮影ではなく、Phase 1のアセットを活用する

この作業は、新たなデータ撮影から始めたわけではありません。

Phase 1で処理した30万フレームには、韓国の実際の家庭環境における生活用品が、実使用の文脈のまますでに収められていました。

Superb AIはフレームを一様にサンプリングし、オブジェクト検出（Object Detection）を用いて人が動作を行っている有効なセグメントを絞り込み、元データを選別したうえで、個々のオブジェクトをオブジェクト単位のデジタルアセットとして抽出しました。

これがデータファクトリーの働き方です。一度きちんと収集した原材料は、次の工程の原資になります。

人とAIで役割を分ける

ラベリングは、人がすべてのピクセルを手作業で塗るという方法では行っていません。SAMのような基盤モデル（Foundation Model）と、境界を精緻化するコンピュータビジョンアルゴリズムが一次処理を担当し、VLM（Vision Language Model）が一次レビューを実施。人間は最終的な品質チェックに集中しました。

この構造によって、AIが物量を引き受け、人間が最終品質に責任を持つという分担が成立します。Phase 1以降で磨き上げてきたAIアシスト・ラベリングのワークフローを、そのままオブジェクトアセットの制作にも適用しました。

品質基準（Quality Bar）の読み解き方

品質基準は IoU 0.7以上、セマンティック精度90% です。ここでは2つのポイントが重要になります。

第一に、0.7は「達成した平均値」ではありません。データセット全体に適用される合格ライン（閾値）です。この基準を下回るデータはレビューで差し戻され、再作業に回されました。

第二に、対象の難易度です。統制された環境で正面から撮影されたきれいなオブジェクトではありません。実際の住宅内で、実使用の文脈に置かれたオブジェクトであり、その条件下でピクセル単位の要件を課しています。

学習データの品質は、最も出来のよいサンプルによって決まるものではありません。データセット全体の下限値によって決まります。Superb AIが管理したのは、その下限値です。

最大の難所はオクルージョンだった

セグメンテーションで最も難しかったのは、当初想定していた透明・反射素材ではありませんでした。オクルージョン（遮蔽(しゃへい)）です。

「実使用の文脈をそのまま捉えている」というこのデータセットの強みは、そのままセグメンテーションの難しさにもなりました。自然な家庭環境では、椅子はテーブルの下に収められていたり人が座っていたりすることが多く、オブジェクトの全体形状がはっきり見えるシーンは、実はまれなのです。

アセットを「インテリジェント」にするもの：8種類の関節オブジェクト

生活用品の多くは剛体（Rigid Body）ではありません。

今回のフェーズでは、開閉機構を持つ8種類の生活用品——キャビネット、冷蔵庫、洗濯機、引き出しユニット、カーテン、収納棚、クローゼット、シンク下収納——に関節モデリングを適用しました。これにより、シミュレーション内で現実に近い開閉動作が可能になります。

コップや皿のように関節を持たないオブジェクトは、剛体オブジェクトとして構築しています。

意外にも、最も難しかった対象はカーテンでした。布がなびく動きをシミュレーション内で再現すること自体は不可能ではありませんが、計算コストが非常に高くつきます。そこでSuperb AIは、カーテンを「横方向にスライドするオブジェクト」として簡略化しました。

物理的なリアリティとシミュレーションコストのバランスを取る——この種の判断が、アセット制作の全工程を通じて求められます。

オブジェクトの3Dアセット化をめぐる世界的な競争

オブジェクトを3Dアセット化するというアプローチは、グローバルの最前線と同じ方向を向いています。

MetaのSAM 3Dはセグメンテーションベースの3Dオブジェクトアセット生成に関する研究であり、AgiBot Worldデータセットは3,000種類を超える実世界のオブジェクトを含む形で公開されています。

Superb AIの取り組みが異なるのは、韓国の家庭環境という特定ドメインに対して、関節特性まで含めた形で大規模に実行したという点です。

よくある質問（FAQ）

IoU 0.7は高い水準ですか？

IoU 0.7という数字だけを見て、高い・低いを判断することはできません。条件の整った環境で撮影された、認識しやすいオブジェクトが対象であれば、決して高い基準とは言えないでしょう。しかし今回の対象は、物が重なり合って隠れているのが当たり前の、実際の家庭にある生活用品です。そのうえでこの0.7は「平均点」ではなく、データセット全体が超えなければならない最低ラインとして設定しています。同じ0.7でも、その意味はまったく違ってきます。

ラベリングはすべて人手で行ったのですか？

いいえ。ワークフローは3段階に分かれています。SAMなどの基盤モデルとコンピュータビジョンアルゴリズムが一次処理を行い、VLMが一次レビューを実施し、人間が最終品質チェックを担当しました。

どのようなオブジェクトが含まれていますか？

ロボットが頻繁に操作すると想定される生活用品を中心としています。キャビネット、冷蔵庫、洗濯機、引き出しユニット、カーテン、収納棚、クローゼット、シンク下収納の8種類の関節オブジェクトを、インタラクティブな形式で構築しました。

次のブログでは：空間・オブジェクト・行動を組み合わせる合成データパイプライン

次回はシリーズ最終回です。空間アセット・オブジェクトアセット・行動アセットを組み合わせ、学習データを自動生成する合成データ（Synthetic Data）パイプラインについてお届けします。

Superb AIは、産業現場から取得される視覚データを、企業が活用できる知能へ変換するVision Intelligence企業です。