Embodify

Embodify

エージェントに身体を与えましょう。

最高の身体性エージェントは、あなたのお気に入りのエージェントです。

Embodify を使うと、Claude Code、Codex など、普段使っている MCP 対応エージェントがロボットを直接認識して操作できるようになり、ほかの使い慣れた機能もそのまま利用できます。GPT-6 Astra や Claude Opus 5.5 など、身体を使った操作スキルを備えた最先端モデルを取り入れて、AI コンパニオンを物理世界へ踏み出させましょう。

中国語 · ワンラインセットアップ · バックエンド · 研究向け · スキル · ロードマップ

初回リリース（0.1.0a1）。 現在は LIBERO と RoboDojo に対応しています。RoboTwin と LeRobot SO-101 アームへの対応は近日中に予定しています。

Embodify を選ぶ理由

多くの身体性エージェントは一から構築されています。専用のハーネスがモデルを包み、固定されたロボット操作を渡すだけで、それ以外の機能はありません。普段使っているエージェントには、そうしたハーネスにないものがすでに備わっています。

• コンテキストと記憶。 長時間のセッションを管理し、セッションをまたいで内容を覚えています。
• あなたのことを知っています。 あなたの好み、プロジェクト、ラボの環境を把握しています。
• 普段使っているターミナル、IDE、デスクトップアプリ、チャットで、あなたと対話します。 進捗を尋ねたり、途中で介入したり、修正したり、タスクの途中で教えたりできます。
• コンピューターを使えます。 コードを書いて実行し、ツールを使い、ウェブを検索し、論文を読みます。

Embodify はこうした機能をすべて維持したまま、身体を追加します。プラグインをインストールすると、エージェントは、ほかのすべての用途ですでに使っているプロトコルである MCP を通じて、ロボットの観測・操作ツールを利用できるようになります。さらに、ロボットの操作方法と、自身の経験から再帰的自己改善（RSI）を実現する方法を教えるスキルも利用できます。

「最高」である理由

身体を持つ汎用エージェントは、ロボットを動かすことしかできないハーネスよりも優れています。

1. 行動するだけでなく、ツールを使って考えられます。 幾何学的な計算が必要なときはスクリプトを書き、事実が必要なときは検索し、認識が必要なときはモデルを実行できます。
2. これまでの経緯を把握できます。 エージェントがすでに試したことを忘れると、長期的な操作タスクは失敗します。成熟したエージェントはコンテキストと記憶を適切に管理します。
3. あなたと協力して作業します。 タスクが曖昧なときは質問し、行き詰まったときはあなたの指示を受け入れ、次回のために修正内容を覚えます。
4. ロボットを本来の言語で操作します。 ロボットの操作は通常の MCP ツール呼び出しとして行われ、エージェントが使うほかのすべてのツールと同じ形式です。
5. 最先端の身体性モデルを基盤にしています。 あなたのエージェントは、GPT-6 Astra や Claude Opus 5.5 など、身体を使った操作スキルを備えた最先端モデルで動作します。再トレーニングなしで、モデルをアップグレードするたびにロボットの性能が向上します。
6. 再帰的に自己改善します。 あらゆるエピソードを教訓に、教訓をルールに、ルールを新たなスキルに変え、作業を重ねるほど賢くなります。
7. ゼロショット、フューショット、インコンテキスト学習を簡単に実現できます。 汎用エージェントは、トレーニングなしで新しいタスクに取り組みます。タスクを自然言語で説明する（ゼロショット）、いくつかの例を見せる（フューショット）、または指示、実演、過去の経験をコンテキストに加える（インコンテキスト学習、ICL）ことができます。

内容

Embodify は 2 つの部分で構成されるエージェントプラグインです。プラグインをインストールすると、エージェントは次の両方を利用できます。

部分	エージェントが利用できる機能
MCP server (embodify-mcp、embodify として登録)	タスクの一覧表示、エピソードの開始、カメラとロボットの状態の観察、エンドエフェクターの移動、グリッパーの開閉、2 本のアームの連携に使えるツールです。
スキル	慎重な観察と操作のループの実行、ロボット本体とカメラのプロファイルの維持、過去のエピソードからの学習に関するノウハウです。近日中に知覚スキルを追加する予定です。

flowchart LR
  A["Your agent<br/>Claude Code · Codex · …"] -- "MCP (stdio)" --> B["embodify-mcp<br/>episodes · budgets · logs"]
  K["Embodify skills"] -. "loaded by" .-> A
  B --> I["Backend interface"]
  I --> L["LIBERO"]
  I --> R["RoboDojo"]
  I --> T["RoboTwin (WIP)"]
  I --> H["SO-101 and other real robots (WIP)"]
  I -. "SSH / TCP" .-> G["Remote server"]

MCP サーバーはフロントエンドです。各シミュレーター、ベンチマーク、ロボットはシンプルなインターフェースの背後にあるバックエンドなので、新しいものを追加してもエージェントから見える内容は変わりません。主な特徴：

• あらゆる MCP ホストで動作します。 内部で LLM を呼び出さないため、エージェントは独自のモデル、メモリー、スキル、ツールをそのまま使えます。
• 1 回の呼び出しで 1 回の動作。 制御ループはシミュレーターの近くで実行されます。各アクションは実際の移動量、残りの誤差、停止理由、新しいカメラ画像を返します。
• リモートシミュレーション。 エージェントはノートパソコンで動かしたまま、SSH 経由でラボの GPU サーバー上にシミュレーターを実行できます。ハートビートにより遅延の大きい接続を維持し、接続が切れた場合はエピソードを安全に中止して、reset_task で再接続します。
• 公平な評価。 Embodify でエージェントの操作スキルを評価すると、タスクの成功状況は人間向けに記録され、エージェントには決して公開されません。
• ライブモニターとリプレイ。 実行中のエピソードをブラウザーでリアルタイムに確認したり、過去のエピソードをフレームごとに再生したりできます。

バックエンド

バックエンド	ロボット	状態
fake、fake-two-arm	運動学的診断用、アーム 1 本または 2 本	✅ 同梱、シミュレーターは不要
libero	Franka Panda、5 つのスイートにわたる 130 個のタスク	✅ 同梱
robodojo	Dual ARX X5、54 個すべてのシミュレーションタスク	✅ 同梱
RoboTwin	デュアルアーム操作ベンチマーク	🚧 近日公開
LeRobot SO-101	実機ロボット：グリッパー付き 5 自由度アーム	🚧 近日公開
remote	上記の任意のバックエンドを別のマシンで実行	✅ SSH または信頼済み TCP

近日公開：xArm などのロボットアーム、移動型マニピュレーター、ヒューマノイド、器用なハンド。対応を希望するシミュレーターやロボットがあれば、詳細を添えて GitHub issue を作成してください。新しいバックエンドの貢献も歓迎します。

研究向け

Embodify は、言語モデルやエージェントフレームワークの身体性を伴う操作能力を評価するテストベッドとしても機能します。GPT、Claude、Gemini、Qwen などのモデルを Claude Code、Codex、または独自のエージェントフレームワーク経由で、同じツールを使って同じシミュレーションベンチマーク上で実行し、直接比較できます。

• 標準ベンチマーク： LIBERO（5 つのスイートにわたる 130 個のタスク）と RoboDojo（54 個のタスク）。RoboTwin も近日公開予定です。
• 設計段階から公平： タスクの成功状況は評価者向けに記録され、エージェントには表示されません。また、--lock-task でシーンを固定できます。
• 制御可能な予算： エピソード予算と呼び出しごとのステップ上限を設定でき、記録にも残ります。
• 完全な記録： ツール呼び出し、ロボットの状態、カメラのフレームが保存され、リプレイと分析に利用できます。

代表的な研究には、最先端モデルによるゼロショットのロボット操作、同じモデルを使ったエージェントフレームワークの比較、スキルとメモリーの効果、エピソードをまたいだ再帰的な自己改善などがあります。Embodify の引用方法と報告すべき内容については、引用をご覧ください。

クイックスタート

1 行でセットアップ

Claude Code、Codex、またはお使いのエージェントに、次の内容を貼り付けてください：

Install Embodify (https://github.com/YidaYang/embodify) for yourself, then set up a LIBERO environment or connect to my existing simulator.

これで完了です。エージェントが Embodify プラグインをインストールしてシミュレーターをセットアップし、セッションを再起動するタイミングを知らせます。 （エージェントの場合は、エージェントのセットアップガイドに従ってください。）

手動インストール

Embodify は uv を使って、PyPI から直接 MCP サーバーを起動します。uv がまだインストールされていない場合は、python -m pip install uv を実行するか、公式インストーラーを使ってインストールしてください。

Claude Code

claude plugin marketplace add YidaYang/embodify
claude plugin install embodify@embodify

Codex

codex plugin marketplace add YidaYang/embodify
codex plugin add embodify@embodify

このプラグインには、embodify として登録される MCP サーバーとスキルの両方が含まれています。 サーバーは Fake バックエンドで起動するため、すぐにツールを試せます。 次に、実際のシミュレーターに接続する方法を確認してください。設定は ~/.embodify/config.json から読み込みます（バックエンドのセットアップを参照）。 エージェントを使わずにパッケージ単体を確認するには、次のようにします。

uvx --from embodify-mcp embodify-mcp-smoke   # end-to-end check: no simulator, GPU or model needed

その他のエージェント

1. examples/mcp.jsonを使って、エージェントの MCP 設定にサーバーを登録します。
2. エージェントが Agent Skills（SKILL.md フォルダー）に対応している場合は、 plugin/skills/内のフォルダーをエージェントのスキルディレクトリにコピーするか、リンクします。

セッションを再起動し、エージェントに 「タスクをリセットして、カメラに何が映っているか説明し、グリッパーを 5 cm 上げてください。」 のように頼みます。

実際のシミュレーターに接続する

この手順はエージェントに任せます。次の内容を貼り付けてください。

Connect Embodify to a real simulator for me: set up LIBERO on this machine, or connect to my existing simulator. Follow https://github.com/YidaYang/embodify/blob/main/docs/agent-setup.md.

エージェントがシミュレーターをインストールするか、SSH 経由でお使いのシミュレーターに接続し、サーバー設定を ~/.embodify/config.json に書き込み、セッションを再起動するよう求めます。手動で行う場合は、バックエンドのセットアップを参照してください。

ロボットのライブ映像とエピソードの再生

~/.embodify/config.json に "monitor-port": 8765 を追加し、 http://127.0.0.1:8765 を開くと、ロボットの動作をライブで確認できます。すべてのカメラ映像、ロボットの状態、エージェントが実行した各ツール呼び出しを確認したり、過去のエピソードをフレームごとに再生したりできます。サーバーを起動せずに保存済みの実行を閲覧するには、次のようにします。

uvx --from embodify-mcp embodify-mcp-monitor   # reads ~/.embodify/runs

モニターは localhost のみで待ち受けます。

MCP ツール

ツール	用途
get_session_info	現在の実行、タスク、ステップ予算、ロボットの状態を取得します。画像は含まれません
list_tasks	バックエンドのタスクカタログを閲覧します
reset_task	エピソードを開始し、最初のカメラ画像を返します
observe	移動せずにカメラ画像とロボットの状態を取得します
move_relative	片方のエンドエフェクターを、並進と任意の回転で動かします
set_gripper	グリッパーを開閉します
control_arms	共通の進捗で複数のアームを同時に動かします（二腕バックエンド）
stop_episode	エピソードを終了し、その記録を書き込みます

並進の単位はメートル、回転の単位はラジアン、クォータニオンの順序は xyzw です。 フレームと停止理由はアクションコントラクトで定義されています。

スキル

このプラグインには次のスキルが含まれています。

スキル	状態	内容
embodied-control	v0	観察と動作のループ：小さく動かす、停止理由を読み取る、把持を確認する、別の呼び出しで放す
robot-profile	v0	ロボットのプロファイルを保持します：アーム、カメラ、フレーム、キャリブレーション、実測した動作
task-experience	v0	各エピソードの後に教訓を書き、次のエピソードの前に関連する教訓を読み、繰り返し得られた教訓をルールに昇格させます
object-segmentation	近日公開	カメラ画像のオープンボキャブラリーセグメンテーション
depth-ranging	近日公開	深度とキャリブレーションを使ってピクセルを 3D 位置に変換します

スキルは、今後さらに拡充される次の 3 つのファミリーに分類されています。

1. 身体化に関する知識：このロボットがどのように作られているか、カメラの位置、実際の動作方法についての知識です。
2. 操作ツール：Code as Policiesなどの研究から得られたアイデアを含む、知覚、計測、計画のためのツールです。
3. 再帰的な自己改善：経験を教訓に、教訓をルールに、そして最終的には新しいスキルに変え、再帰的に改善していきます。

ロードマップ

• バックエンド： RoboTwin、最初の実機ロボットとなる LeRobot SO-101（ワークスペースの制限、人間による成功判定、緊急停止機能を備えます）、さらに多くの実機ロボットとシミュレーター。
• エンボディメント： モバイルマニピュレーター、ヒューマノイド、器用な手。
• 観測： 深度画像、カメラキャリブレーションなどをツール経由で利用可能にします。
• スキル： セグメンテーション、深度測定などの知覚ツール、ポリシーとしてコードを使うスタイルのツール、より強力な再帰的自己改善ループなど。

開発

python -m pip install -e ".[dev]"
python -m pytest -q
python tools/check_release.py

コントリビューション、バックエンドの作成、 バックエンドのセットアップ、アクションコントラクト、 セキュリティをご覧ください。

ライセンスと引用

オリジナルのコードはApache-2.0ライセンスです。バンドルされたサードパーティのコードには、 元の通知が引き継がれます。Embodify の引用方法については引用をご覧ください。