mcpField
N
neural-reality-capture

neural-reality-capture

github.com/calesthioクリエイティブ・メディア219116 回インストール15 週間前に更新
リポジトリ

neural-reality-capture について

Neural Reality Captureは、重なり合う画像から実物を再構成するための制作スキルです。納品先や制約に応じて、フォトグラメトリメッシュ、NeRF、3D Gaussian splatの選択と撮影計画を支援します。

主な機能

  1. 01納品要件に応じた表現形式の選択
  2. 02物体や環境の撮影計画
  3. 03メッシュ、NeRF、スプラットの比較
  4. 04根拠と制作上の経験則の分類

活用シーン

  1. 01ゲーム用プロップのメッシュ撮影計画
  2. 02仮想施設ツアー向け形式の選択
  3. 03文化遺産の撮影準備

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/calesthio/generative-media-skills --skill neural-reality-capture

インストール後、Claude Code で/neural-reality-captureを入力して読み込まれたか確認します。

同梱ファイルEVAL.md

詳細

ニューラルリアリティキャプチャ

ニューラルリアリティキャプチャは、重複する多数の観察画像から実物の対象を再構築またはレンダリングする制作技術です。このスキルで扱う成果物は、次の3種類のいずれかです。

  • フォトグラメトリによるテクスチャ付きメッシュ。通常、ゲーム、VFX、GIS、文化遺産、Eコマース、DCCへの引き渡しに使用します。
  • NeRFまたは関連するニューラル放射場。通常、既知のカメラポーズから高品質な新規視点レンダリングを行うために使用します。
  • 3D Gaussian Splatによるシーン。通常、放射場の外観を備えたリアルタイムの自由視点再生に使用します。

特定のプロバイダーに依存しないでください。ブランドの慣習ではなく、根拠、制約、引き渡しの要件に基づいてツールを選びます。依頼に測量済みの基準点、キャリブレーション済みの撮影、不確かさの報告、適切な測定ワークフローが含まれない限り、計測精度を保証しないでください。テキストからの3D生成、生成的な再スカルプト、アニメーションのリギング、撮影データの引き渡しを超えるマテリアルのルックデブ、または後工程に属する広範な仕上げ作業に範囲を広げないでください。

根拠ラベル

計画、レビュー、トラブルシューティングでは、次のラベルを使用します。

  • 論文の事実:NeRFや3D Gaussian Splattingの原著論文など、査読付き論文またはオリジナルの技術レポートに記載された主張です。
  • 標準の事実:Khronos glTFやOpenUSDのドキュメントなど、仕様または規格に記載された主張です。
  • 公式ドキュメントの事実:関連組織が管理するツール、撮影、制作に関するドキュメントに記載された主張です。
  • 実測結果:記録されたテストまたは再構築の実行結果です。
  • 制作上の経験則:撮影や引き渡しの改善に役立つことが多いものの、保証ではない実践的なルールです。

ユーザーが推奨を求めた場合は、事実と経験則を明示的に組み合わせます。「標準の事実:glTF 2.0では、単位にメートル、座標系に右手系を使用します。制作上の経験則:軽量なウェブレビューにはGLB、レイヤー構造のあるVFXやDCCでのアセンブリにはUSDを納品します。」

表現形式の選択

撮影の目新しさではなく、最終用途に基づいて表現形式を選びます。

フォトグラメトリメッシュ

アセットの編集、ポリゴン数の削減、ベイク、コリジョンのテスト、実空間への配置、注意事項を明記した測定、3Dプリント、または従来型のジオメトリとしてエンジンやDCCツールへの納品が必要な場合は、メッシュを使用します。

長所:

  • 明示的なトポロジー、UV、テクスチャ、法線、マテリアルチャンネルを備えています。
  • OBJ、FBX、Alembic、glTF/GLB、USDによる確立されたデータ交換に対応しています。
  • クリーンアップ、リトポロジー、コリジョン、LOD、ベイク、エンジンへのインポートに対応しています。
  • マーカー、スケールバー、GCP、または測量済みの基準点を使って、スケーリングやジオリファレンスが可能です。

リスク:

  • 反射面、透明面、毛髪状の表面、薄い表面、反復的な表面、またはテクスチャのない表面は、再構築がうまくいかない場合があります。
  • トポロジーやUVは、クリーンアップするまで制作に適さないことがよくあります。
  • ベイク済みテクスチャによって、ジオメトリの欠陥が隠れる場合があります。
  • 高い精度を得るには、多数の写真だけでなく、管理された撮影、キャリブレーション、基準点、QAが必要です。
NeRF

メッシュの編集性よりフォトリアルな新規視点レンダリングが重要な場合、特に、撮影範囲が限定された内向きの撮影、視点依存の見た目、透明感のある効果、簡易的なメッシュベイクでは適切に処理できない複雑な光沢のある見た目には、NeRF を使用します。

論文に関する事実:NeRF の原論文である Representing Scenes as Neural Radiance Fields for View Synthesis(ECCV 2020)では、空間位置と視線方向を入力とし、ボリューム密度と視点依存の放射輝度を出力する連続的な 5D 関数でシーンを表現します。既知のカメラポーズを持つ入力画像から最適化し、カメラレイに沿った微分可能なボリュームレンダリングで描画します。著者のプロジェクトページと論文に基づき、2026-07-11 に確認済みです。

長所:

  • 撮影された放射輝度に対する新規視点の見た目が優れています;
  • 多くの単純なテクスチャベイクより、視点依存の効果を適切に扱えます;
  • バーチャルツアー、ヒーローレンダリング、ボリュームプレビュー、参照映像の再生に役立ちます。

リスク:

  • カメラポーズと画像の一貫性は依然として重要です;
  • 動的なオブジェクト、露出の変化、ローリングシャッター、モーションブラー、フォーカスの変化が学習されたアーティファクトになることがあります;
  • 一部のワークフローではメッシュ抽出が可能ですが、主要な表現方法ではなく、ノイズが生じる場合があります;
  • メッシュの納品より標準化が進んでおらず、ランタイムのサポートは対象によって異なります。
3D Gaussian splat

撮影したシーンをリアルタイムで自由視点再生することが優先で、対象のビューワーがスプラットに対応している場合は、Gaussian splat を使用します。インタラクティブな閲覧が編集可能なトポロジーより重視される、部屋、街路、文化遺産施設、見た目が複雑な製品、場所のプレビューなどでは、有力な選択肢となることがよくあります。

論文に関する事実:2023 年の SIGGRAPH 論文 3D Gaussian Splatting for Real-Time Radiance Field Rendering では、カメラキャリブレーションで生成したスパースな点群を起点とし、最適化された 3D ガウスでシーンを表現します。最適化と密度制御を交互に行い、可視性を考慮したスプラッティングレンダラーを使用することで、評価条件下で高品質なリアルタイムレンダリングを実現しています。著者の Inria プロジェクトページと論文に基づき、2026-07-11 に確認済みです。

長所:

  • 多くのニューラルフィールドレンダラーと比べて、インタラクティブな表示が高速です;
  • 複雑な撮影シーンの見た目を適切に保持できます;
  • 最終的な納品物が編集可能なジオメトリではなく、没入型ビューワーである場合に適しています。

リスク:

  • スプラットは従来のソリッドメッシュではありません;
  • コリジョン、CAD、3D プリント、DCC での編集には、変換または別途メッシュが必要です;
  • glTF メッシュの納品と比べると、ファイル形式、圧縮、エンジンのサポートは依然として流動的です;
  • 薄いもの、光沢のあるもの、動くもの、十分に観測されていないものの周囲では、フローターや半透明のハローが深刻になることがあります。
迅速な判断表
制約推奨する表現形式理由
ゲームのプロップにコリジョン、リトポロジー、LOD が必要メッシュ編集可能なジオメトリと標準的なエンジンのパイプライン
博物館の部屋をブラウザーのように自由視点で巡りたい3DGS または NeRFビュー合成で撮影した見た目を保持
GCP と寸法チェックを伴う建築測量メッシュと測量記録従来のジオメトリと QA 成果物を確認可能
ターンテーブルプレビュー用の反射する小売製品NeRF/3DGS を試し、必要に応じて制御されたメッシュ撮影も行う視点依存の見た目が簡易的なテクスチャベイクを上回る場合があります
アセットを GLB として e コマース向けに納品する必要があるメッシュglTF/GLB はランタイムアセットの納品形式であり、NeRF のコンテナーではありません
VFX レイアウトでレイヤー化されたシーン構成が必要メッシュ、または USD パッケージ内の点群/スプラット参照USD は構成、ペイロード、バリアント、アセット参照に適しています

撮影計画

撮影計画は、再構築の失敗を防ぐためのコストが最も低い段階です。まず、用途、被写体の種類、権利、スケジュール、天候または照明、スケール戦略、必要な納品物を決めます。

汎用的な撮影要件

公式ドキュメントの事実:COLMAP は、順序付きおよび順序なしの画像コレクションを対象とする汎用の Structure-from-Motion および Multi-View Stereo パイプラインです。2026-07-11 に COLMAP のドキュメントで確認済みです。つまり、撮影ではカメラ姿勢の復元とマルチビュー対応をサポートする必要があります。

実運用上のヒューリスティック:

  • 可能な場合は、露出、ホワイトバランス、フォーカスを固定します。
  • オートフォーカスの迷い、ズームの変更、ローリングシャッターによる急なパン、モーションブラー、手ぶれ補正の急な変化を避けます。
  • 細部の質感を保てる程度に ISO を低くします。ノイズやブレのある画像を受け入れるのではなく、照明を追加するか三脚を使います。
  • パイプラインが対応している場合は RAW または高品質の静止画で撮影し、オリジナル画像は歪ませずに保管します。
  • スケールと焦点距離のグループを一貫させます。ズームレンズで焦点距離を変える場合は、EXIF または撮影区間ごとにキャリブレーショングループを分けます。
  • 拡散した安定した照明を使います。動く影、鏡面反射によるグレア、フラッシュの光量低下、画面のちらつきを避けます。
  • 1 か所のパノラマ位置から撮るのではなく、被写体の周囲を回りながら撮影します。カメラ中心がほとんど移動しないため、パノラマは通常、3D 再構築に適しません。
  • 見える各表面が、少なくとも 2 枚の高品質な画像に写るようにします。複雑な形状や遮蔽物がある場合は、さらに多くの視点から撮影します。
  • 大まかな撮影から細部へと進めます。まず対象全体または部屋全体を一周して撮影し、その後、より広い撮影セットとの重なりを保ちながら細部を撮影します。
  • 現場にいる間に撮影ログを記録します。カメラ/レンズ、設定、撮影ルート、スケールの基準、許可、天候、照明、既知の死角を記録します。

Agisoft および RealityScan の撮影ガイダンスに関する公式ドキュメントの事実(2026-07-11 に確認済み):高解像度が推奨され、画像の鮮明さが重要です。低 ISO によってノイズが減り、Agisoft のガイダンスでは被写界深度を確保するために f/8 から f/11 が一般的に推奨されています。シャッタースピードが遅いとブレが生じる可能性があります。航空撮影のガイダンスでは、通常、進行方向に約 80 パーセント、横方向に約 60 パーセントのオーバーラップが求められます。RealityScan のガイダンスでは、写真間で視点を約 30 度以上変えないよう警告し、対象の周囲を一周するよう推奨しています。これらは公式の撮影ガイダンスとして扱い、普遍的な物理法則とは見なさないでください。

オーバーラップ、露出、フォーカス、動き

オーバーラップは単なる割合ではありません。実用的なオーバーラップとは、鮮明で、適正露出で、質感があり、隣接する視点の画像間で共通して写っている被写体の部分です。

実運用上のヒューリスティック:

  • 物体の場合:被写体の周囲を少なくとも 2、3 周撮影し、可能であれば上方と低い角度からも撮影します。
  • 屋内の場合:部屋の境界や島状の構造物の周囲を一周して撮影し、その後、出入り口や遮蔽された角をつなぐように撮影します。
  • 屋外やファサードの場合:全体を捉える広い範囲の撮影、斜めからの撮影、細部を捉える近接撮影を行います。
  • 航空測量のような撮影の場合:まずミッション計画で指定したオーバーラップを確保し、植生、低テクスチャ、斜めのファサード、高度の変化、GNSS の精度不足がある場合はオーバーラップを増やします。
  • ブラケット撮影は、パイプラインがブラケット画像を予測可能な方法で処理または合成できる場合に限って行います。それ以外の場合は、被写体の質感を保てる安定した露出を選びます。
  • 動きを制御できない場合は複数回撮影し、学習または再構築の前に動く物体をマスクするか削除します。

ひどいブレ、重要な質感部分の白飛び、フォーカスブリージングによる不一致、水滴、レンズの汚れ、ローリングシャッターによる歪み、被写体の前を横切る人、ひどい JPEG アーティファクトがある写真は、除外するか分けておきます。

オブジェクトのキャプチャ

小道具、工芸品、家具、食品、製品、衣装、彫刻、標本には、オブジェクトのキャプチャを使用します。

制作時の指針:

  • マスキングを予定している場合を除き、テクスチャがあり、つや消しで、動かない被写体を、パターンが繰り返されない背景に置くことを推奨します。
  • オブジェクトに反射性がある、またはテクスチャがない場合は、取り外し可能なつや消しスプレー、クロスポラライズドライト、投影テクスチャ、または保存上および権利上の制約で許可される場合は NeRF/3DGS を第一候補とする納品物を検討します。
  • 定規、スケールバー、コード化ターゲット、または計測済みのターンテーブルシーンでスケールを記録します。切り取られる可能性のある面に、唯一のスケールマーカーを置かないでください。
  • ターンテーブルを使用する場合は、カメラ、ライト、背景を一貫させ、ソルバーがオブジェクトとカメラのどちらを動かすことを想定しているかを把握します。オブジェクトの回転に対して背景が静止している場合は、静的な背景をマスキングします。
  • 底面や接触面は、必要な場合に限り、十分なオーバーラップで位置合わせできる場合に含めます。
環境および室内のキャプチャ

部屋、通り、文化遺産の場所、セット、風景、建設現場の状況には、環境のキャプチャを使用します。

制作時の指針:

  • つながりのあるループを作ります。脇の部屋、廊下、階段、中庭はすべて、メインの経路に戻るオーバーラップが必要です。
  • 遮蔽された面を捉えるため、人の目の高さに加えて、低い位置または高い位置からも撮影します。
  • NeRF/3DGS では、窓と室内の間で露出が大きく変わらないようにします。閲覧者が両方を確認する場合は、別々に撮影するか、照明を調整することを検討します。
  • 座標の方針を早い段階で記録します。ローカルな表現用座標、建物座標、GIS/地理空間座標、または測量済みの基準点から選びます。
  • 基準点、マーカー、スケール参照物は、複数の角度から鮮明に撮影します。
航空撮影

屋根、地形、採石場、ファサード、工業施設、農地、大規模な文化遺産の場所や建築物には、航空撮影を使用します。

制作時の指針:

  • 垂直面、ファサード、張り出しが重要な場合は、鉛直撮影と斜め撮影を組み合わせます。
  • 可能な限り、地表からの高度を一定に保ちます。地形の変化に応じて、飛行計画を調整する必要がある場合があります。
  • 地理参照や精度評価が重要な場合は、再構築範囲の端部や標高の変化する場所も含めて、GCP/チェックポイントを配置します。
  • 飛行前に、航空規則、現地の許可、プライバシー、機密性の高いインフラに関する制限、野生生物や文化遺産の場所に関する制限を遵守します。
  • ドローンの EXIF に含まれる GNSS 情報だけで、測量級の精度が得られると示さないでください。
人物およびパフォーマンスのキャプチャ

人物のキャプチャは、明示的な同意、プライバシーへの配慮、明確な用途がある場合に限って使用します。顔、髪、衣服のしわ、わずかな動きのすべてが重要になるため、人物の撮影は困難です。

制作時の指針:

  • 全身や頭部のキャプチャには、同期したマルチカメラリグを推奨します。単一カメラで周囲を回りながら撮影すると、表情のずれや体の揺れが生じるおそれがあります。
  • 柔らかく均一な照明を使い、明滅するハイライトや動く影を避けます。
  • 特定の表情が求められていない限り、ニュートラルな姿勢と表情を撮影します。
  • 生体認証データ、顔のスキャンデータ、タトゥー、識別しやすい衣服、未成年者のデータは、権利およびプライバシーに関する高リスクのデータとして扱います。

キャリブレーション、スケール、座標

スケールのないキャプチャは、見た目には役立つことが多い一方で、物理的な寸法は曖昧です。

公式ドキュメントの事実:Agisoft のガイダンスによると、信頼できる EXIF 情報はカメラのオートキャリブレーションに役立ち、EXIF 情報がない場合は前提条件を設定せざるを得ないことがあります。また、魚眼、球面、円筒カメラには適切なカメラタイプの設定が必要であり、元画像のトリミングや幾何変換はオートキャリブレーションに影響することがあります。2026-07-11 に確認済み。

本番ワークフロー:

  1. 元画像と EXIF 情報を保持します。ソース画像を上書きしないでください。
  2. カメラ本体、レンズ、焦点距離、フォーカス設定、センサーモード、前処理の状態ごとにカメラをグループ化します。
  3. スケールが重要な場合は、処理を実行する前に、実測済みのスケールバー、マーカー間距離、測量ターゲット、または GCP を追加します。
  4. 幾何精度を評価するときは、チェックポイントをコントロールポイントと分けて使用します。
  5. 引き渡し前に座標系を決定します。ローカル原点、対象物中心の原点、建物座標、GIS CRS、または DCC/エンジンの軸規約を選びます。
  6. 単位、上方向の軸、前方向の軸、原点、スケールの根拠、ジオリファレンスの根拠、エクスポート時に適用した変換を記録します。

独立したチェックデータと誤差の測定レポートを含まないワークフローでは、「精度は X mm」と言わないでください。実際の状態がそうであるなら、「500 mm のバー2本からスケールを設定。独立した精度保証なし」と記載してください。

再構成またはトレーニングのワークフロー

メッシュのワークフロー

一般的なメッシュの手順:

  1. 元画像とメタデータを取り込みます。
  2. 使用できない画像を除外し、カメラグループを分割します。
  3. 特徴点を検出し、画像をマッチングします。
  4. SfM でカメラ姿勢と疎点群を推定します。
  5. キャリブレーション、スケール、マーカー、コントロールを追加または調整します。
  6. 高密度再構成または深度マップ推定を実行します。
  7. メッシュまたは点群を構築します。
  8. 引き渡しの要件に照らして妥当な場合に限り、クリーンアップ、トリミング、穴埋め、ポリゴン数削減、UV 展開、テクスチャリングを行います。
  9. 引き渡しで必要な場合に限り、法線、アンビエントオクルージョン、ディスプレイスメント、またはテクスチャのバリエーションをベイクします。
  10. ジオメトリ、テクスチャ、スケール、座標、パッケージを検証します。

公式ドキュメントの事実:COLMAP は、SfM と MVS のパイプラインについて、Structure-from-Motion Revisited(CVPR 2016)と Pixelwise View Selection for Unstructured Multi-View Stereo(ECCV 2016)を引用しています。2026-07-11 に COLMAP のドキュメントで確認済み。

NeRF のワークフロー

一般的な NeRF の手順:

  1. ソース画像またはフレームを取り込みます。
  2. カメラ姿勢を推定するか、インポートします。
  3. ぼやけたフレーム、不整合なフレーム、重複フレーム、動的な要素が混入したフレームを除去します。
  4. バウンド、マスク、ニア/ファー範囲、スケールの正規化を定義します。
  5. QA 用に保留したビューを使ってトレーニングします。
  6. 検証用のカメラパスをレンダリングし、ソースビューと比較します。
  7. 対象が対応している場合に限り、ランタイムパッケージ、レンダリング済み動画、深度、点群、またはメッシュ抽出をエクスポートします。

論文の事実:元の定式化では、NeRF の最適化に既知のカメラ姿勢が必要です。ユーザーが順序付けされていない画像しか持っていない場合、姿勢推定はパイプラインの一部であり、魔法のように省略できるものではありません。

3D Gaussian splat のワークフロー

一般的な 3DGS の手順:

  1. 多くの場合は SfM ツールを使って、カメラ姿勢と疎点群を推定します。
  2. シーンのスケールとバウンドを正規化します。
  3. 密度制御を使ってガウシアンをトレーニング/最適化します。
  4. 浮遊物、ゴースト、透明度が高すぎるエッジ、背景の漏れ、露出アーティファクト、カバーが不十分な穴がないか確認します。
  5. 対象のビューアー向けに、トリミング、間引き、圧縮、または変換を行います。
  6. ビューアー/ランタイムをパッケージ化し、ソース、姿勢、トレーニング設定を保持します。

論文の事実:元の 3DGS の研究では、カメラキャリブレーション中に生成された疎点群を初期化に使います。本番環境での示唆:姿勢推定の品質が低い、または疎再構成が不十分な場合、通常はスプラットの品質が損なわれます。

マスク、動体、難しい表面

現実世界のキャプチャでは、一貫性のある静的な証拠が十分にあることを前提とします。不一致があると、ノイズ、ゴースト、浮遊物、テクスチャのにじみ、または歪んだジオメトリが生じます。

次のような場合はマスクを使用します。

  • 背景が動く、または回転する被写体と矛盾する場合。
  • 人、車両、画面、反射、植生、水、影がシーン内を動く場合。
  • 被写体をターンテーブル、リグ、支持具、保存用マウントから分離する必要がある場合。
  • NeRF や 3DGS で一時的なオクルーダーを無視する必要がある場合。

制作上のヒューリスティクス:

  • マスクしたコンテンツがカメラのソルブや密度に影響する場合は、再構成やトレーニングの前にマスクします。
  • ツールがソフトアルファを想定している場合に限り、マスクの一貫性を保ち、フェザー処理を施します。ジオメトリソルバーでは、ハードマスクのほうが安全な場合がよくあります。
  • ポーズ推定に必要な共通のコンテキストをすべてマスクで消さないようにします。
  • 反射は物理的に制御するか、放射輝度場では視点依存の見え方を表現できる一方、メッシュでは失敗する可能性を受け入れます。
  • 透明なオブジェクトでは、特殊なキャプチャを計画するか、ソリッドなジオメトリをうたわない納品物を選びます。

クリーンアップ、デシメーション、圧縮、LOD

クリーンアップでは、証拠を損なわないようにする必要があります。修正を目的とするクリーンアップと、創作的な変更を区別します。

このスキルで許可される作業:

  • 被写体または合意した境界に合わせてトリミングする。
  • 浮遊物、分離したノイズ、背景の断片、三脚の残骸、マスクした支持具を除去する。
  • 補完内容が明らかで、ラベル付けされている場合に、小さな穴を埋める。
  • 誤差を確認しながらデシメーションする。
  • 要望がある場合に限り、受け渡しに必要な範囲でリトポロジーする。
  • LOD、法線、テクスチャアトラス、圧縮した納品パッケージを生成する。
  • 未編集の高解像度マスターを保持する。

キャプチャ由来の納品後に行う全面的なリトポロジー、UV/PBR の再構築、スケルトン対応、ゲーム向け LOD の作成、エンジンへのインポート仕上げ、制作アセットのパッケージ化は、3d-asset-production の対象です。

対象外:

  • スタイルを変える再設計。
  • 不足している証拠を、キャプチャされた事実であるかのように生成的に置き換えること。
  • キャプチャ由来のマップを超える、ゲーム向けマテリアルの全面的な作成。
  • リギングとアニメーション。

制作上のヒューリスティクス:

  • ソースアーカイブ、再構成マスター、納品用派生データの3段階を維持します。
  • メッシュ LOD では、デシメーションを行うたびにシルエット、法線の偏差、テクスチャの視認性、スケールを比較します。
  • スプラットでは、圧縮の前に浮遊物を除去し、境界をトリミングしてから、エッジの透過性とカメラ近傍での挙動を確認します。
  • NeRF/3DGS では、トレーニング済みの表現とカメラパスのエクスポートデータを、レンダリング済みの動画とは分けて保管します。

座標系、相互運用、納品

glTF/GLB

Khronos glTF 2.0 の標準仕様に基づく事実(2026-07-11 に確認):

  • glTF は、3D コンテンツ向けの API に依存しないランタイムアセット納品形式です。
  • glTF 2.0 は、右手座標系を使用し、+Y を上、+Z を前とし、線形距離の単位にメートルを使用します。
  • GLB は glTF のバイナリーコンテナ形式です。
  • glTF は、メッシュ、ノード、カメラ、マテリアル、テクスチャ、アニメーション、バッファー、拡張機能を定義します。オーサリング形式でもストリーミング形式でもありません。
  • glTF 2.0 は、メタリック・ラフネス方式の PBR マテリアルパラメーターを使用します。ベースカラーのテクスチャは sRGB でエンコードされ、メタリック・ラフネスのテクスチャ値はリニアで、G にラフネス、B にメタルネスを格納します。

ウェブ、モバイル、E コマース、ゲームのプレビュー、軽量なレビューには GLB/glTF を使用します。対象のランタイムがサポートする拡張機能のみを含めます。テクスチャサイズ、圧縮方式、座標変換、原点を移動したかどうかを記録します。

OpenUSD

OpenUSD のドキュメントに基づく標準的な事実(2026-07-11 確認済み):

  • USD は、アニメーション付きの 3D シーンを共同で構築し、アセットで構成された 3D シーンを堅牢に交換・拡張するための、高性能で拡張可能なプラットフォームです。
  • USD では、データを階層型の prim として整理し、その属性、リレーションシップ、メタデータをレイヤーに保存します。
  • USD のコンポジションには、subLayers、references、payloads、variantSets、inherits、specializes が含まれます。
  • USD は、アセット参照、AssetInfo メタデータ、ペイロードの作業セット、render/proxy/guide などの purpose、検証、ネイティブのクレート形式 .usdc およびテキスト形式 .usda をサポートします。
  • USD はリギングシステムではなく、コアの識別メカニズムとして GUID を使用しません。

レイヤー化されたアセンブリ、VFX パイプラインとの統合、バリアント、ペイロード、アセット参照、プロキシとレンダーの分離、またはより豊富なシーンのパッケージ化が必要な引き渡しには、USD を使用してください。利用可能な場合は、usdchecker または USD の検証機能を使用してください。

その他の引き渡し形式
  • OBJ はシンプルで広く読み込めますが、マテリアル、単位、階層、最新のランタイムへの配信には弱点があります。
  • FBX は DCC/ゲームのパイプラインで一般的ですが、実装にばらつきがあります。必ず対象アプリケーションでインポートをテストしてください。
  • Alembic は、特に時間サンプリングされたジオメトリなど、ベイク済みジオメトリや VFX の交換に役立ちますが、マテリアルが豊富なランタイムパッケージではありません。
  • PLY は、ポイントクラウド、一部のワークフローでのスプラット、再構築の診断に役立ちます。最終的なビューアーでサポートされているとは限りません。
  • 要求された場合、E57、LAS/LAZ、GeoTIFF、および関連する地理空間形式は測量/GIS の引き渡しに使用しますが、このスキルは測量グレードの精度を保証するものではありません。

QA:ビジュアル、ジオメトリ、納品

表現レベルと引き渡しレベルの両方で QA を実施してください。

ビジュアル QA
  • レンダリングしたビューを、学習から除外したソース画像と比較します。
  • 継ぎ目、テクスチャの泳ぎ、ゴースト、ベイクされた影、色ずれ、グレア、露出の切り替わりを確認します。
  • ニュートラルな照明と対象の照明の両方で確認します。
  • NeRF/3DGS では、ゆっくりと視点を移動し、遮蔽解除によるアーティファクト、浮遊物、透明なエッジのハロー、近クリッピングと遠クリッピングを確認します。
  • メッシュでは、シェーディング、ワイヤーフレーム、法線、UV、テクスチャのみ、スケール参照の各ビューを確認します。
ジオメトリ QA
  • アライメント残差とカメラ姿勢の外れ値を確認します。
  • 基準点と、存在する場合は独立したチェックポイントを比較します。
  • 既知のスケールバーまたはオブジェクトの寸法を測定します。
  • トポロジー密度、非多様体ジオメトリ、反転した法線、分離した島、縮退した三角形、穴を確認します。
  • 対象アプリケーションで、座標変換、単位、上方向の軸、原点を確認します。
納品 QA
  • 作成ツールだけでなく、対象ビューアーを少なくとも 1 つ使って最終パッケージを開きます。
  • テクスチャが意図どおりリンクまたは埋め込みされていることを確認します。
  • 対象ランタイムが必要な拡張機能をサポートしていることを確認します。
  • LOD の切り替え、境界、含まれている場合は衝突メッシュまたはプロキシメッシュ、パッケージサイズを確認します。
  • 公開前に、ライセンス、許可、マスキングを確認します。

アーカイブ記録

すべてのリアリティキャプチャの引き渡しには、将来の再利用や紛争解決に十分な記録を含める必要があります。

最低限必要なアーカイブ:

  • ソース画像/ビデオフレームとチェックサム。
  • 日付、場所、デバイス、レンズ、設定、ルート、照明、許可、クルーを記載した撮影ログ。
  • カメラキャリブレーショングループと姿勢ファイル。
  • 該当する場合は、スケールバー、GCP、チェックポイント、測定距離、CRS/ジオリファレンスに関するメモ。
  • マスクと動的オブジェクトに関するメモ。
  • 利用可能な場合は、再構築/トレーニング用ソフトウェア、バージョン、設定、乱数シード。
  • マスターモデルまたはトレーニング済み表現。
  • エクスポート設定を記録した納品用派生データ。
  • QA レポートと既知の制限事項。
  • 権利関係の書類一式:物件/場所の使用許可、人物の同意、文化財に関する許可、ドローン/航空関係の許可、ライセンス条件、公開制限。

制限事項を曖昧な表現の中に埋もれさせないでください。適切なアーカイブメモの例:「窓側の壁は 3DGS で見た目は自然だが、ジオメトリの信頼性は低い。歩行者はマスキング済み。2 本のスケールバーを基準にスケールを設定。独立したチェックポイントはなし。」

権利、プライバシー、文化的な制約

現実世界のキャプチャでは現実世界の事実が記録されるため、権利と安全に関する義務が伴います。

キャプチャの前と納品の前に、以下を確認してください。

  • 物件と場所:所有権、立ち入り許可、撮影・スキャンの許可、施設固有の制限、チケットの条件、テナントのプライバシー、機密性の高いインフラ、セキュリティシステム、芸術作品、標識、商標、トレードドレス。
  • 人物:同意、肖像、バイオメトリクスへの影響、未成年者、労働者、通行人、タトゥー、バッジ、ナンバープレート、住所、健康・安全に関するデータ。
  • 文化遺産:聖地、埋葬地、先住民の文化財、博物館の制限、保存上の制約、返還に関する懸念、略奪のリスク、3D データを一般公開することで危害を助長する可能性。
  • 航空撮影:航空規則、飛行禁止区域、地域の許可、プライバシー、ジオフェンシング、保険、現場の安全。
  • データの取り扱い:暗号化、アクセス制御、保持期間、削除依頼の手順、未加工のキャプチャをサードパーティの処理業者と共有できるかどうか。

権利が不明確な場合は、キャプチャを公開したり、一般公開用のビューアーのトレーニングに使用したりしないでください。社内限定のレビュー用パッケージを提供するか、許可を得てください。

完全な例

例:Eコマース向け椅子の GLB メッシュ

制作目的:家具ブランドが、製造用途ではなく、AR での外観とスケールを十分正確に表現できる、ウェブで表示可能な椅子のアセットを必要としています。

入力と制約:

  • スタジオでの DSLR 静止画撮影が4時間許可されています。
  • マットな布地、半光沢の木製脚、人物なし。
  • ウェブ用 GLB は25 MB 未満、LOD は3段階、テクスチャは2K。
  • スケールに関する注意書きを含める必要がありますが、計測学的な精度を謳ってはいけません。

推奨ワークフロー:

  1. 露出、ホワイトバランス、フォーカスを固定し、立位、着座、低い位置、俯瞰の角度から椅子の全周を撮影します。
  2. 床面に計測済みのスケールバーを2本設置し、脚の高さ付近に目視できる定規を1本置きます。
  3. 木部の反射が目立つ場合は、大型のディフューザー付きソフトボックスと偏光制御を使用します。
  4. SfM/MVS で形状を推定し、高解像度メッシュを作成して、床と背景をきれいに除去し、マスターを保持します。
  5. LOD0/1/2 にリトポロジーまたはデシメーションし、キャプチャしたジオメトリからのみ法線とアンビエントオクルージョンをベイクします。
  6. +Y を上方向、単位をメートル、原点を床との接触点の中点に設定して GLB にエクスポートし、対象のビューアーが対応する圧縮テクスチャを使用します。
  7. E コマースのビューアーと、中立的な glTF バリデーター/ビューアーで QA を行います。

この構成を選ぶ理由:最終成果物には一般的なジオメトリと実行時の配信が必要なため、NeRF や 3DGS よりもメッシュと glTF/GLB の組み合わせが適しています。

期待される結果:AR/ウェブ上への配置に使える、外観とスケールを忠実に再現した椅子のモデルと、制約を記載した文書。

起こりやすい失敗:光沢のある脚がぼやける、裏面が不完全になる、布地の織り目にエイリアシングが発生する、LOD によるシルエットの変化が大きすぎる、GLB のテクスチャ圧縮で色が変わる。

有意義な代替案:ブランドがシネマティックなターンテーブルのみを求める場合は、NeRF/3DGS ビューアーまたはレンダリング済みの軌道を検討できます。CAD レベルの寸法が必要な場合は、測量/計測ワークフローを案内してください。

例:USD とスプラットによる、歴史ある中庭のレビュー

制作の目的:VFX チームが、レイアウトとセット拡張の参考資料として歴史ある中庭を必要としています。ディレクター向けの軽量なインタラクティブビューアーと、アーティスト向けのレイヤー構造を持つ USD パッケージを求めています。

入力と制約:

  • 現地での作業は 1 日で、観光客がいます。ドローンの飛行許可はありません。
  • 文化遺産の施設のため、一般公開には制限があり、特定の碑文のスキャンは禁止されています。
  • VFX の受け渡しでは USD が望まれますが、ディレクターは自由視点でのナビゲーションを求めています。

推奨ワークフロー:

  1. 撮影前に、場所の使用許可、文化的な制約、墨消し対象のリストを確認します。
  2. 露出を固定した区間ごとに、中庭の縁、建築の細部、出入り口、高低差の周囲を、つながりのあるループ状に撮影します。
  3. 許可されている場所に一時的なスケール基準を設置し、印を付けられない場所があれば記録します。
  4. 再構築やトレーニングの前に、観光客と制限対象の碑文をマスクします。
  5. レイアウト/プロキシ用のメッシュを作成し、視覚的な自由視点レビュー用に 3DGS をトレーニングします。
  6. コンポーネント構造、プロキシとレンダーの用途の分離、assetInfo、スケールに関する注記、制限付き使用のメタデータを付属記録に含めて、USD をパッケージ化します。
  7. アクセス制御と墨消し済み領域を設定した、非公開のスプラットビューアーパッケージをエクスポートします。
  8. 両方を QA します。USD が対象の DCC で開くこと、スプラットビューアーに制限対象の詳細や明らかな動的ゴーストが表示されないことを確認します。

この構成にする理由:USD はレイヤー構造を活用した VFX の組み立てに役立ち、スプラットは視覚的なレビューをすばやく行えます。どちらも権利確認の代わりにはなりません。

期待される結果:アーティストはスケール調整済みのレイアウト/参考資料パッケージを受け取り、ディレクターは没入感のあるプレビューを利用でき、公開制限も維持されます。

起こりやすい失敗:移動する観光客がゴーストになる、光沢のある石にフローターが発生する、制限対象の碑文がテクスチャやスプラットに混入する、パッケージ化後に USD の参照が切れる。

有意義なバリエーション:後からドローンの飛行許可が得られた場合は、屋根や上層のファサード用に空撮/斜め撮影を追加します。一般公開が必要な場合は、大幅に墨消しした派生版を作成します。

例:空撮と地上メッシュによる小規模な発掘区域の記録

制作の目的:考古学チームが、内部分析と教育用の静止画レンダーに使用するため、発掘トレンチの 3D 記録を必要としています。

入力と制約:

  • 低高度でのドローン飛行が許可されています。
  • 地上基準点とスケールバーを利用できます。
  • 一般公開するデータには、正確な位置を示すメタデータを含めてはいけません。
  • チェックポイントで裏付けられない限り、測量精度を保証しません。

推奨ワークフロー:

  1. 高いオーバーラップ率で天底撮影の空撮グリッドを撮影し、トレンチの壁面には斜め撮影を追加します。
  2. 重要な出土品や層序の周囲を、地上から近接撮影します。
  3. トレンチの周囲に GCP/チェックポイントを設置し、公開用派生メタデータとは別に座標系を記録します。
  4. RAW/静止画、EXIF、GCP ファイル、現場記録を保持します。
  5. メッシュ、テクスチャ、正投影レンダーを再構築します。スケール調整済みのマスターを作成し、承認された場合は、ポリゴン数を削減して墨消しした GLB の公開版を作成します。
  6. 独立したチェックポイントと既知のスケール距離を使って QA します。残差と制約事項を報告します。
  7. 制限付きのマスター、公開用の派生版、権利に関する記録、文化財に関する許可、位置情報の墨消し方針をアーカイブします。

この構成にする理由:成果物は記録として使用されるため、一般的なメッシュであれば内容を確認しやすく、アーカイブに適しており、静止画も簡単に作成できます。

期待される結果:管理方法が文書化されたスケール調整済みの内部用モデルと、リスクを抑えた公開用派生版が得られます。

起こりやすい失敗:太陽の移動で影が変わる、軟らかい土壌にテクスチャが不足する、トレンチ壁面のオクルージョンが残る、座標メタデータから位置が誤って明らかになる。

有意義なバリエーション:教育用のビジュアルだけが必要な場合は、視覚的なメッシュに簡略化してジオリファレンスを省略します。法的な測定が必要な場合は、適切な資格を持つ測量の支援を受けます。

例:インタラクティブなショールーム向けの光沢のあるバイク

制作の目的:ある制作会社が、クロームと塗装を説得力のある形で表現した、ブラウザベースのインタラクティブなバイクの撮影データを求めています。

入力と制約:

  • 対象物にコーティングを施すことはできません。
  • クローム、黒い塗装、ガラス、細いスポークが目立ちます。
  • 最終用途はビジュアル探索であり、衝突判定や製造ではありません。

推奨ワークフロー:

  1. 可能な範囲でスタッフの映り込みを避けながら、制御された広範囲の照明のもとで撮影します。
  2. 複数の高さから密な撮影ループを行い、スポーク、エンジン、ミラー、透明または光沢のある部分を重点的に追加撮影します。
  3. メッシュのベースラインを記録しつつ、視点依存の外観によってテクスチャのベイクよりも対象物を忠実に保てる可能性があるため、早い段階で3DGSとNeRFを試します。
  4. 可能であれば、一貫性を損なうスタッフ、撮影リグ、回転台、映り込みをマスクします。
  5. QAでフローターとエッジの挙動に問題がないことを確認できた場合は、非公開の3DGSビューアーを納品します。必要に応じて、ラフな境界を示す目的に限り、簡略化したメッシュを含めます。
  6. ビューアーはビジュアル用途であり、工学的な立体モデルではないことを明記します。

この構成にする理由:この対象物には、従来のフォトグラメトリが苦手とする表面特性がまさにそろっています。一方、放射輝度場形式の表現なら、表示時の外観を保てる可能性があります。

期待される結果:形状と反射面に関する注意事項を添えた、説得力のあるインタラクティブなビジュアルレビューです。

起こりやすい失敗モード:クロームに周囲の環境がゴーストのように映り込む、スポークがフローターに分裂する、ガラスが曇ったようになる、ビューアーがモバイル端末で十分なパフォーマンスを発揮できない。

有意義なバリエーション:ゲーム用途では、アーティストがマテリアルを作成した別のモデリング済み/リトポロジー済みアセットを用意します。

確認済みの出典ノート 2026-07-11

  • Mildenhall ほか、NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis、ECCV 2020、著者のプロジェクトページおよび論文:https://www.matthewtancik.com/nerf。
  • Kerbl ほか、3D Gaussian Splatting for Real-Time Radiance Field Rendering、ACM Transactions on Graphics/SIGGRAPH 2023、著者のInriaプロジェクトページおよび論文:https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/。
  • SfM/MVSに関するプロジェクト概要および引用情報を含むCOLMAPドキュメント:https://colmap.github.io/。
  • オープンソースのフォトグラメトリソフトウェアに関する情報として、AliceVision/Meshroomの公式サイト。
  • 解像度、焦点距離、ISO、絞り、シャッターによるブレ、オーバーラップ、マーカー、スケールバー、EXIF、カメラの種類、幾何学的な画像変換を行わないことについて記載された、Agisoft Metashapeの公式撮影のヒント:https://agisoft.freshdesk.com/support/solutions/articles/31000149337。
  • 撮影ループ、視点の変更、画像枚数、移動、精度に関する注意事項について記載された、RealityScan/RealityCapture公式の「写真の撮り方」ガイド:https://rshelp.capturingreality.com/en-US/tutorials/takingpictures.htm。
  • 実行時のアセット配信、座標系、単位、GLB、マテリアル、テクスチャ、バッファー、拡張機能、バージョン管理に関するKhronos glTF 2.0仕様、バージョン2.0.1:https://registry.khronos.org/glTF/specs/2.0/glTF-2.0.html。
  • シーン記述、レイヤー、プリム、属性、リレーションシップ、コンポジションアーク、アセット、ペイロード、バリアント、検証、制限事項に関するOpenUSDドキュメント:https://openusd.org/release/intro.html。

コメント