mcpField
P
physicalai-runtime-running-policy-on-robot

physicalai-runtime-running-policy-on-robot

github.com/openvinotoolkit開発4081 回インストール今日更新
リポジトリ

physicalai-runtime-running-policy-on-robot について

physicalai-runtimeでロボット上のポリシーを実行する開発スキルです。PythonとYAMLの利用方法、実行モード、コールバック、模擬ハードウェアでの検証を説明します。

主な機能

  1. 01PythonとYAMLの設定手順
  2. 02同期およびRTC実行モード
  3. 03ランタイムコールバックの指針
  4. 04模擬ロボットとカメラのテスト
  5. 05設定とアクションの検証

活用シーン

  1. 01ノートブックでポリシーを実行
  2. 02physicalai runによるデプロイ
  3. 03ハードウェアなしでランタイムをテスト

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/openvinotoolkit/physicalai --skill physicalai-runtime-running-policy-on-robot

インストール後、Claude Code で/physicalai-runtime-running-policy-on-robotを入力して読み込まれたか確認します。

詳細

ロボットでポリシーを実行する

PolicyRuntime(src/physicalai/runtime/runtime.py)は制御ループを管理し、InferenceModelはポリシーの計算を担当します。実行戦略はsrc/physicalai/runtime/execution.pyとsrc/physicalai/runtime/rtc_execution.pyにあります。CLI:src/physicalai/cli/run.pyのphysicalai runは、jsonargparseを介してYAMLからインスタンスを生成します。

ワークフロー

  1. APIか設定ファイルを選ぶ:ノートブックやテストにはPythonを、再現可能なデプロイにはYAMLとphysicalai runを使用します。

    • 完了の目安:エントリーポイントがユーザーのタスクに合っていること。
  2. Pythonで最小限のループを実装する(docs/how-to/runtime/run-policy-on-robot.mdを参照):

    from physicalai.runtime import PolicyRuntime, SyncExecution
    from physicalai.inference import InferenceModel
    from physicalai.robot import SO101
    from physicalai.capture import UVCCamera
    
    runtime = PolicyRuntime(
        fps=30,
        robot=SO101(port="/dev/ttyACM0"),
        model=InferenceModel("./exports/act_policy"),
        cameras={"wrist": UVCCamera(device="/dev/video0", width=640, height=480)},
        execution=SyncExecution(),
    )
    with runtime:
        runtime.run(duration_s=60)
    
    • 完了の目安:コンポーネントが接続され、フェイクを使ったテストまたはドライランでループが実行されること。
  3. YAML設定 — ロボット、モデル、カメラ、実行の各設定をclass_path/init_argsでネストして、次を実行します:

    physicalai run --config runtime.yaml --run.duration_s=60
    
  4. 実行モード — docs/how-to/runtime/use-execution-modes.mdを参考に同期とRTCのどちらかを選びます。PolicyRuntimeがキューを管理すべき場合は、InferenceModel.select_actionの周りに独自のタイミング処理を実装しないでください。

  5. コールバック — 推論アダプターの内部ではなく、ランタイムコールバックAPI(docs/how-to/runtime/add-runtime-callbacks.md)を介してテレメトリやレイテンシーを登録します。

検証ループ

uv run pytest tests/unit/runtime/ -q

ハードウェアを利用できない場合は、ランタイムテストのフェイクロボットやフェイクカメラを使用します。

必須チェック

  • fpsとカメラの読み取りレートに整合性があること。
  • アクションの次元が、ロボットのsend_actionで想定されるものと一致すること。
  • 設定のclass_pathが、トレーニング用パッケージなしでインポートできること。
  • ランタイム設定スキーマに破壊的変更を加えた場合は、docs/reference/config-schema.mdに記載すること。

参考資料

  • docs/how-to/runtime/run-policy-on-robot.md
  • docs/how-to/config/write-runtime-config.md

コメント