SUPERB AI.

ロボットは人間の行動をどう学習するのか？5,000件の4D行動データを構築した方法

「人間の行動や動きをデータに変換し、ロボットがそこから学習できるようにする。」これは現在、ロボティクスやフィジカルAIについて議論する際によく聞かれる言葉です。多くの人が、その方向性には同意しています。

では、次に浮かぶ問いは何でしょうか。

人間の動きを、ロボットが実際に学習できるデータへ、どのように変換するのでしょうか？

本記事では、韓国の「国家独自AI基盤モデルプロジェクト（Sovereign AI Foundation Model Project）」のフェーズ2、韓国で「Dokpamo」と呼ばれるプロジェクトにおいて、5,000件の4D行動データ（4D Behavior Assets）を構築した際のプロセスと、その過程で得られた知見を紹介します。

🔗関連記事 :50軒の住宅環境をロボット学習データへ。3D空間・5,000の行動・10,000のオブジェクトを構築

4D行動データとは？

4D行動データ（4D Behavior Data）とは、3D空間における人間の動きを「時間」の情報と合わせて記録したデータです。

単純に関節の座標を時系列で記録したものではありません。

身体の形状（Body Shape）と姿勢（Pose）をパラメータとして分離して表現できるため、異なる体格を持つデジタルヒューマンやロボットへ、同じ動作を転用することができます。

つまり、人間の動きを一度データ化すれば、特定の人物や身体条件に依存せず、さまざまな形で再利用できることが、4D行動データの大きな特徴です。

テレオペレーションでロボットに教えるのか、人間を見て学習させるのか？

現在のロボット学習データのエコシステムには、大きく分けて2つのアプローチがあります。

1つ目は、テレオペレーション（Teleoperation）です。

これは、人間がロボットを直接操作し、その操作軌跡（Trajectory）をデータとして収集する方法です。

中国のAgiBotは、このアプローチを大規模に展開しています。オープンソースプロジェクト「AgiBot World」では、100万件を超えるロボットの軌跡データを公開しています。

2つ目が、人間の行動を観察して学習データに変換するアプローチです。

複数のカメラから人間が実際にタスクを行う様子を撮影し、その動きをロボットが学習可能なデータへ変換します。

▶ YouTube動画：
AGIBOT releases AGIBOT WORLD 2026 Theme 2: Rich Interaction

この2つは、しばしば「どちらが優れているのか」という対立する手法として語られます。

しかし、実際にデータ構築パイプラインを運用してきた私たちの経験からすると、重要なのはどちらが優れているかではなく、それぞれが異なる役割を担っているということです。

テレオペレーションデータは、ロボットの座標系上で人間の操作を直接記録できるため、精密なマニピュレーション（物体操作）の学習やファインチューニングに適しています。

一方で、ロボット本体、操作者、設備などがデータ収集のボトルネックとなるため、データ量は基本的にロボットの稼働時間に比例して増えていきます。

人間の行動データは、道具の使い方、全身の協調動作、そして「人間が何をしているのか」「なぜその行動をしているのか」という行動に関する事前知識まで、より大規模かつ多様に捉えることができます。

実際のロボット学習では、これら2つのアプローチを組み合わせて利用することができます。

人間の行動データは大規模な事前学習（Pretraining）を支え、テレオペレーションデータは精密なファインチューニングを支える。

そして、シミュレーションとモーションリターゲティングが、その2つをつなぎます。

さらに、もう1つ重要なポイントがあります。

四足歩行ロボットやヒューマノイドロボットなど、開発初期段階ではまだ自律的に立つことさえ難しいロボットの場合、そもそもテレオペレーションによるデータ収集が難しいケースがあります。

こうしたロボットにとって、人間の行動データは初期段階の学習を支える重要なデータソースになります。

5,000件の行動データはどのように構築されたのか？

フェーズ1では、韓国の住宅環境における人間の生活行動を、50のシナリオに整理しました。

• キッチン：15シナリオ
• リビング：13シナリオ
• 寝室：12シナリオ
• その他の空間：10シナリオ

50カ所の住宅環境で、150種類の行動パターンを組み合わせ、合計7,500件の行動シーケンスを撮影・記録しました。

🔗 関連記事： Superb AI、国家主導の独自AI基盤モデルプロジェクトでフェーズ1を達成 ― 108万件のロボットデータを構築

フェーズ2で構築した5,000件の4D行動データは、この7,500件の記録データの中から、品質基準を満たしたシーケンスです。1シーケンスあたりの長さは、平均で約30秒から1分です。

映像から4D行動データへ

人間の動きをロボット学習データへ変換するプロセスは、大きく4つのステップに分けられます。

1. マルチビュー映像撮影

複数のカメラから、人間の動きを同時に撮影します。

2. 3D関節推定

撮影した映像から、人間の関節位置を3次元で推定します。

3. SMPLパラメータフィッティング

推定した動きを、身体形状と姿勢のパラメータとしてSMPLモデルにフィッティングします。

4. モーションリターゲティング

抽出した動きを、異なる身体形状を持つデジタルヒューマンなどへ転送します。

このプロセスの中心となるのが、SMPLフィッティングです。

SMPL（Skinned Multi-Person Linear Model）は、人間の身体を「身体形状」と「姿勢」に分けて表現する3D人体モデルです。

そのため、出力されるデータは単なる関節座標のリストではありません。

身体形状と姿勢の情報を持った4Dメッシュデータとして、動きを表現することができます。

キャプション：概念図 ― SMPLフィッティングによって身体形状と姿勢を分離することが、4D行動データ構築の鍵となる。

データ構築で見えてきた課題：遮蔽と鏡

このデータ構築パイプラインは、最初から安定していたわけではありません。

初期段階では、人間の身体としてはあり得ない位置に関節が突然移動したり、隣り合うフレーム間で動きが途切れたりするケースがありました。

特に問題が発生したのは、家具などによって身体の一部が隠れているシーンや、カメラの視点が十分に多様でないシーンです。

なかでも、狭いキッチンや浴室は難易度の高い環境でした。

これらの課題に対して、私たちは3つの手法を組み合わせました。

まず、人体の姿勢に関する事前知識（Human Pose Prior）を学習した最先端モデルを利用し、人体構造上、自然な関節位置を推定しました。

次に、時間方向のスムージング（Temporal Smoothing）を適用し、フレーム間で現実には起こり得ないほど急激な動きが発生することを抑制しました。

さらに、それでも信頼度の基準を満たさないセグメントについては、そのまま利用せず、前後のフレームを利用した補間（Interpolation）によってデータを補完しました。

その結果、初期のアプローチと比較してエラー率を大幅に低減し、7,500件の記録シーケンスの98%以上を正常に処理することができました。

1つの行動データをどこまで拡張できるのか？

身体形状と姿勢を分離することで、1つの行動データは「1つのデータ」のままではありません。

現在の運用基準では、1つの行動を5種類の人体モデルと4〜10種類のレンダリング視点に展開することができます。

さらに、30カ所以上の異なる背景・環境を組み合わせることも可能です。

重要なのは、こうしたデータ拡張に固定された上限がないことです。

人体モデルは継続的に追加することができ、視点についてもレンダリング設定によって増やすことができます。

これは、ロボットの稼働時間に比例してデータ量が増えるテレオペレーションとは、データスケーリングの構造そのものが異なります。

キャプション：概念図 ― 姿勢はそのままに、身体形状のパラメータだけを置き換えることで、同じ行動を異なる人体モデルへ展開できる。

行動データに「言語」を加える

別の取り組みとして、フェーズ1で収集した映像フレームに対して、状況や行動の文脈を説明するキャプション（Language Annotation）も追加しました。

まずVLM（Vision-Language Model）によってキャプションのドラフトを生成し、その後、人間の専門家によるHuman-in-the-Loopのレビューを行いました。この言語レイヤーは、将来的に言語と行動を統合したマルチモーダルAIを構築するための基盤になります。

次回の記事では、これらの行動が行われる環境を構成する、50件の3D空間アセットについて詳しく紹介します。

よくある質問（FAQ）

Q. テレオペレーションデータと人間の行動データでは、どちらが優れていますか？

どちらが優れているというより、それぞれ異なる役割を担っています。

人間の行動データは、大規模な事前学習、多様な行動パターンの獲得、人間の　意図や行動に関する事前知識の学習に適しています。

一方、テレオペレーションデータは、ロボットの座標系に基づいた精密なファインチューニングに適しています。実際のロボット学習では、両方のデータを組み合わせて活用することが重要です。

Q. 少数の人間からデータを収集した場合、どうやって身体形状の多様性を確保するのですか？

撮影段階では、まず行動や動作スタイルの多様性を確保します。

一方、身体形状についてはSMPLパラメータによって姿勢から分離できるため、データ収集後の処理段階で多様化することができます。モーションリターゲティングによって、同じ動作を異なる身体形状を持つデジタルヒューマンへ転送することが可能です。

人間の行動を、ロボットが学習できるデータへ

フィジカルAIやロボティクスの進化には、モデルだけでなく、現実世界の多様な行動を捉えた高品質な学習データが不可欠です。

人間の動きを4Dデータとして構造化し、身体形状、姿勢、環境、言語などの情報を組み合わせることで、ロボットが現実世界を理解し、行動するための学習基盤を構築できます。

Superb AIは、フィジカルAI時代に求められる高品質な実世界データの収集・構造化・活用を支援します。

行動データの構築をご検討の場合は、以下のフォームからお問い合わせください。Superb AIの専門スタッフがご連絡します。