フィジカルAI（Physical AI）のデータとは、ロボットや自律システムが現実世界を認識し、状況を理解して行動するための、空間・動作・物体などに関する学習データです。

テキストから学習する言語モデルとは異なり、フィジカルAIには、3D空間、人間の動作、物体との相互作用といった物理世界の特徴を捉えたデータが必要です。

本記事では、フィジカルAIの学習に用いられる4種類のデータセットと、現実世界でのデータ取得から合成データ生成までの3ステップの開発プロセスを解説します。あわせて、外部のデータセットやデータ開発パートナーを評価する際の4つの質問を紹介します。

この記事の要点

• データセットは4種類： 空間データ、動作データ、物体データ、合成データ。種類ごとに出力形式と品質評価の観点が異なります。
• 品質は開発プロセス全体で決まる： 現実世界の撮影、アセット化、合成データ生成をつなぐことで、再現性のあるデータ開発が可能になります。
• 開発実績： Superb AIは韓国の国家プロジェクトで、実在する50か所の住宅環境をもとにデータを開発し、成果物は第三者機関の最終審査を通過しました。

なぜ今、フィジカルAIのデータが重要なのか

2026年7月1日、韓国の科学技術情報通信部は「物理的人工知能（フィジカルAI）中核競争力確保戦略」を発表しました。この戦略は、データ、技術、普及、エコシステムの4つを推進戦略として掲げ、その筆頭にデータを置いています。データ分野では、省庁横断のデータライブラリの構築や、企業が学習・実証に活用できるデータ収集・活用体制の整備が示されています。

モデルのアーキテクチャに関する研究成果は、オープンな研究コミュニティを通じて急速に共有されています。一方で、物理世界の特徴を捉えた学習データは、依然として不足しています。

そのため、ロボット向け基盤モデルの開発を進める企業は、共通の課題に直面しています。

どのようなデータを、どの形式で、どの程度の規模で整備すべきなのか。

フィジカルAIの実用化には、モデル開発だけでなく、現実世界を再現し、ロボットの学習に使えるデータを効率よく開発する仕組みが欠かせません。

日本でも、フィジカルAIのデータ整備は政策の柱になりつつあります。政府は2026年3月にAIロボティクス戦略をとりまとめ、2040年に20兆円の市場獲得と、多用途ロボットでの世界シェア3割超を目標に掲げました。同戦略は日本の強みとして、産業用ロボットやサプライチェーンと並んで「高品質な現場データ」を挙げています。

データの整備も具体化しています。一般社団法人AIロボット協会（AIRoA）は、経済産業省とNEDOが実施するGENIACの採択事業として、ロボット動作データセット「AIRoA MoMa 5k」（収録時間5,025時間）を2026年7月に一般公開しました。

こうした取り組みに共通するのは、「どのデータを、どの形式で整備すれば学習に使えるのか」という問いです。以下では、韓国の国家プロジェクトでのデータ開発経験をもとに、この問いを整理します。

フィジカルAIのデータセットを構成する4つのタイプ

ロボットの学習に使われるデータセットは、大きく4つのタイプに分類できます。ここでは、韓国政府の支援を受けたプロジェクトでSuperb AIが開発した成果物をもとに、それぞれの特徴と品質評価のポイントを解説します。

空間・動作・物体の各アセットを基盤として、合成データを繰り返し生成するフィジカルAIデータ開発プロセスの概念図

① 空間データ：ロボットが活動する環境

空間データとは、3DGS（3D Gaussian Splatting）などの技術を用いて、現実の環境を3Dで復元したデジタルツインデータです。ロボットがシミュレーション環境で移動や障害物の回避を学習するには、実際の環境を反映したデータが必要です。

Superb AIは、実在する50か所の住宅環境をもとに、PLY形式の3DGSアセットを開発しました。

住宅環境をデジタルツインとして復元する手法については、［関連記事：3DGSによる住宅環境のデジタルツイン化］をご覧ください。

② 動作データ：人間の動き

動作データは、人が物体を持ち上げる、移動させるといった作業をどのように行うかを、4Dデータ（3D空間＋時間）として捉えたものです。

近年は、遠隔操作用の専用機器を使わずに、複数の視点から撮影した映像とSMPL系の3D人体モデルを組み合わせて、人間の動作を復元する手法が広がっています。

Superb AIは、SMPL-Xを用いて、PKL形式の人間の動作アセットを5,000件開発しました。

③ 物体データ：ロボットが操作する対象

物体データは、ロボットが操作する物体の構造や動きを再現した、インタラクティブなアセットです。開閉するドアや、引き出せる引き出しなどが該当します。

静的な3Dスキャンデータとは異なり、ロボットによる操作の学習に使うには、物体の構造や可動部分を再現し、操作可能なデータとして整備する必要があります。

Superb AIは、現実世界で取得したデータをもとに、物体画像1万件を開発しました。

④ 合成データ：現実世界のデータを拡張する

合成データとは、前述の3種類のアセットをシミュレーターに取り込み、条件を変えながら生成するデータです。

空間・動作・物体の各アセットがそろっていれば、NVIDIA Isaac Simなどのシミュレーターで、照明、レイアウト、視点などの条件を変えながら追加の学習データを生成できます。一度作ったアセットを繰り返し使うため、現実世界での撮影を毎回行わずに、多様な学習データを用意できます。

データセットの品質を決めるのは、開発プロセス全体

フィジカルAIのデータをめぐっては、データ収集施設や設備に注目が集まりがちです。しかし、第三者機関の審査を通過したデータセットを開発してきた経験から、Superb AIが重視しているのは設備そのものだけではありません。

重要なのは、データの取得から加工、生成までを一貫して行える開発プロセスです。

Superb AIのフィジカルAIデータ開発パイプラインは、次の3つのステップで構成されています。

Step 1：現実世界の環境を撮影する

最初のステップでは、複数のカメラを同期させた撮影システムで、現実の環境を撮影します。

Phase 1では、17台のGoProカメラを同期させた多視点撮影システムを使い、実在する50か所の住宅環境を撮影しました。この方法では、空間全体を捉える三人称視点の映像と、ロボットが実際に見る状況を想定した一人称視点の映像を取得できます。

複数の視点からデータを収集することで、単一のカメラでは捉えにくい空間の構造や、人と物体の位置関係を把握しやすくなります。

Step 2：アセット化する

次のステップでは、撮影した生データを選別・加工し、学習に使えるアセットへ変換します。

Superb AIは、Auto-Curate（オートキュレート）を活用し、約4億フレームの生データを108万フレームまで絞り込みました。そのうち、学習への貢献が期待できる30万フレームをアセット化しました。

大量の撮影データをそのまま使うのではなく、学習に適したデータを選び、目的に応じた形式へ加工することが重要です。

Step 3：合成データを生成する

最後のステップでは、アセット化した空間・動作・物体のデータをシミュレーター上で組み合わせ、追加の学習データを生成します。

一度作ったアセットを繰り返し使えるため、データ開発コストが現実世界での撮影量に比例して増えるとは限りません。現実世界のデータを基盤にしながら、多様な条件に対応する学習データを拡張できます。

第三者機関による品質検証

Superb AIが開発した以下の成果物が、韓国情報通信技術協会（TTA：Telecommunications Technology Association）の最終審査を通過し、正式な成果物として認定されました。

フィジカルAIのデータセットを評価する4つの質問

外部のデータセットを導入する場合や、データ開発パートナーを選ぶ場合は、次の4つの観点で評価することをおすすめします。

1. 現実世界の環境で取得されたデータか

実験室と実際の現場では、照明、ノイズ、遮蔽などの条件が異なります。収集件数だけでなく、撮影場所や環境条件の多様性も確認しましょう。

2. 誰がデータの品質を検証したのか

開発企業による自己評価と、第三者機関による検証は異なります。検証した組織に加えて、精度やIoU（Intersection over Union：領域の重なりを示す指標）など、どの基準で評価されたのかを確認することが重要です。

3. 自社の学習パイプラインで利用できる形式か

PLY、PKL、PNGなどの出力形式やメタデータの構造が、利用予定のシミュレーターや学習フレームワークに対応しているかを確認しましょう。品質が高くても既存の開発環境で使えなければ、追加の変換作業や開発コストが発生します。

4. アセットから追加のデータを生成できるか

データセットが一度限りの納品物なのか、再利用できるアセットから合成データを継続的に生成できるのかによって、長期的な開発コストは大きく変わります。初期のデータ整備だけでなく、将来のデータ拡張まで見据えて評価しましょう。

よくある質問（FAQ）

Q. フィジカルAIのデータとは何ですか？

ロボットや自律システムが現実世界を認識し、状況を理解して行動するために使う学習データです。主に、3D環境を表す「空間データ」、人間の動きを捉える「動作データ」、ロボットが操作する対象を表す「物体データ」、シミュレーター上で生成する「合成データ」の4種類があります。

Q. 合成データだけでロボットを学習させることはできますか？

合成データは、現実世界のデータを置き換えるものではなく、拡張するためのものです。現実世界で取得したデータからアセットを作り、シミュレーション環境で合成データを生成することで、実環境とシミュレーション環境の差（Sim-to-Real Gap）の低減を目指します。

Q. フィジカルAIのデータセットを開発するには、何が必要ですか？

主に、複数の視点から撮影する多視点撮影システム、大量の生データを選別・加工するキュレーションツール、3DGSやSMPL系モデルを活用したアセット化技術、シミュレーターを使った合成データ生成パイプラインの4つが必要です。Superb AIは、政府支援プロジェクトを通じて、これらを組み合わせたデータ開発パイプラインを構築しています。

Q. データセットの品質は、どのように検証しますか？

精度やIoUなどの定量的な評価基準を設定し、第三者機関の検証を受けることが、品質を客観的に示す方法の一つです。Superb AIが開発した成果物は、韓国情報通信技術協会（TTA）の最終審査を通過しています。

Q. 3DGS（3D Gaussian Splatting）とは何ですか？

多数の写真や映像から、現実の空間を3Dで復元する技術の一つです。空間を小さな楕円体（ガウシアン）の集まりとして表現し、写実的な見た目を保ったままデジタルツインを作成できます。フィジカルAIでは、ロボットが活動する環境をシミュレーター上に再現する用途で使われます。

Q. 日本でもフィジカルAI向けのデータ整備は進んでいますか？

進んでいます。政府は2026年3月にAIロボティクス戦略をとりまとめ、日本の強みの一つに「高品質な現場データ」を挙げています。また、AIロボット協会（AIRoA）はGENIACの採択事業として、ロボット動作データセット「AIRoA MoMa 5k」を2026年7月に公開しました。

フィジカルAI向けデータの開発をご検討ですか？

対象となる環境や、必要なデータの種類についてお聞かせください。Superb AIでは、お客様のプロジェクト要件を確認し、必要なデータや開発プロセスを検討するところからご支援します。

Superb AIについて

Superb AI（スパーブAI）は、産業現場の画像・映像・3D LiDARなどの視覚データを活用し、企業の意思決定と行動につながる知能と変換するVision Intelligence企業です。Vision AI・Physical AIを実現するために高品質な学習データの構築から、AIモデルの開発・学習・評価・デプロイ・運用までを一元管理するMLOpsプラットフォーム「Superb Platform」、既存カメラ映像を活用したAI映像解析「Superb Video Analytics」、産業特化型ビジョン基盤モデル「ZERO」を展開しています。製造・物流・建設・ロボティクスなどの現場における外観検査、物体検出、安全管理、品質管理などのAI導入を支援し、人手不足や熟練技能の属人化といった課題の解決に取り組んでいます。NVIDIAのPhysical AI Ecosystemパートナー、AWSパートナーとして、次世代のAI開発・運用基盤を提供しています。