Isaacsim Mcp Server

Isaac Sim MCP サーバー

Model Context Protocol（MCP）を通じて、NVIDIA Isaac Sim を自然言語で操作できます。

MCP 対応の IDE（Cursor、VS Code、Claude Code、Windsurf、Antigravity、JetBrains）を実行中の Isaac Sim インスタンスに接続し、自然な英語のプロンプトで操作できます。ロボットの作成、シーンの構築、シミュレーションの実行、物理のデバッグをすべてエディターから行えます。

主な特長

• 9 カテゴリ（シーン、オブジェクト、照明、ロボット、センサー、マテリアル、アセット、シミュレーション、グラフ）にわたる 43 個のツール
• Isaac Sim アセットライブラリから自動検出される 107 以上のロボット（Franka、UR、Unitree、Boston Dynamics など）
• ステップ実行と観察によるデバッグ -- 1 回の呼び出しでシミュレーションをステップ実行し、prim の位置、関節の状態、物理を調べられます
• ホットリロード -- Isaac Sim を再起動せずに Python コントローラーを反復開発できます
• 複数インスタンス -- 異なるポートで複数の Isaac Sim セッションを並行して実行できます
• Isaac Sim 5.1.0 - 6.0.1（PhysX + Newton）向けに構築されており、バージョン分離のためのモジュール式アダプターレイヤーを備えています

インストール

オプション A：pip でインストール（推奨）

pip install isaacsim-mcp-server

これにより、MCP サーバーと isaacsim-mcp-server CLI がインストールされます。リポジトリから Isaac Sim 拡張機能もインストールする必要があります（下記のIsaac Sim の起動を参照してください）。

オプション B：ソースからインストール

git clone https://github.com/whats2000/isaacsim-mcp-server
cd isaacsim-mcp-server
./scripts/setup_python_env.sh

要件

重要

Linux と Windows に対応しています。Windows では、下記の .sh スクリプトの代わりに PowerShell ランチャー scripts/run_isaac_sim.ps1 を使用してください。 macOS は NVIDIA Isaac Sim が動作しないため、対応していません。

メモ

ほかの Isaac Sim バージョンへの対応に向けたコントリビューションを歓迎します。 アダプターレイヤーは、バージョンを容易に分離できるように設計されています。

クイックスタート

1. 環境をセットアップする

ソースからインストールした場合：

./scripts/setup_python_env.sh

Windows では、uv sync によって仮想環境（.venv）が作成され、パッケージとその依存関係がインストールされます。

uv sync

2. 拡張機能を使用して Isaac Sim を起動する

./scripts/run_isaac_sim.sh

ログに次のように表示されます。

Registered 43 command handlers
Isaac Sim MCP server started on localhost:8766

スクリプトは $HOME/isaacsim に Isaac Sim があるかどうかを確認します。別の場所にインストールした場合は、ISAACSIM_ROOT を設定してください。

物理エンジンの選択。 Isaac Sim 6.0 以降には、PhysX（デフォルト）と Newton のバックエンドが付属しています。--newton / --physx または ISAACSIM_ENGINE で選択できます。

./scripts/run_isaac_sim.sh                  # PhysX (default)
./scripts/run_isaac_sim.sh --newton         # Newton
ISAACSIM_ENGINE=newton ./scripts/run_isaac_sim.sh

--newton / --physx は scripts/launch_isaac_sim_mcp.sh でも使用できます。コマンドラインのその他の引数は、変更せずに Kit に渡されます。サーバーはアクティブなエンジンを自動検出するため、MCP 側で設定を変更する必要はありません。Newton を使用するには 6.0 以降が必要です。5.1.0 で指定すると、わかりやすいエラーメッセージが表示されます。

Windows の場合は、代わりに PowerShell ランチャーを使用してください。同じエンジン選択オプションを指定でき、追加の引数は Kit に渡されます。

.\scripts\run_isaac_sim.ps1                          # PhysX (default)
.\scripts\run_isaac_sim.ps1 -Engine newton           # Newton
$env:ISAACSIM_ENGINE = 'newton'; .\scripts\run_isaac_sim.ps1

スクリプトは、-IsaacSimRoot、$env:ISAACSIM_ROOT、ローカルのソースビルド、C:\isaacsim、%USERPROFILE%\isaacsim の順にインストール先を解決します。また、Windows には /tmp がないため、書き込み可能な USD 作業ディレクトリ（.cache\usd）も作成します。

export BEAVER3D_MODEL="<your beaver3d model name>"
export ARK_API_KEY="<your beaver3d api key>"
export NVIDIA_API_KEY="<your nvidia api key>"

$env:BEAVER3D_MODEL = "<your beaver3d model name>"
$env:ARK_API_KEY = "<your beaver3d api key>"
$env:NVIDIA_API_KEY = "<your nvidia api key>"

3. IDE を接続する

エディターに MCP サーバーを追加します。パスは実際のリポジトリの場所に置き換えてください。command の例は Linux/macOS 用です。各ガイドには、PowerShell ランチャー scripts\run_mcp_server.ps1 を呼び出す Windows 用の例も記載しています。

claude mcp add isaac-sim /path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh

{
  "mcpServers": {
    "isaac-sim": {
      "command": "/path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh"
    }
  }
}

claude mcp add isaac-sim -- powershell -NoProfile -ExecutionPolicy Bypass -File C:\path\to\isaacsim-mcp-server\scripts\run_mcp_server.ps1

{
  "mcpServers": {
    "isaac-sim": {
      "command": "powershell",
      "args": ["-NoProfile", "-ExecutionPolicy", "Bypass", "-File", "C:\\path\\to\\isaacsim-mcp-server\\scripts\\run_mcp_server.ps1"]
    }
  }
}

{
  "servers": {
    "isaac-sim": {
      "command": "/path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh"
    }
  }
}

{
  "servers": {
    "isaac-sim": {
      "command": "powershell",
      "args": ["-NoProfile", "-ExecutionPolicy", "Bypass", "-File", "C:\\path\\to\\isaacsim-mcp-server\\scripts\\run_mcp_server.ps1"]
    }
  }
}

{
  "mcpServers": {
    "isaac-sim": {
      "command": "/path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh"
    }
  }
}

{
  "mcpServers": {
    "isaac-sim": {
      "command": "powershell",
      "args": ["-NoProfile", "-ExecutionPolicy", "Bypass", "-File", "C:\\path\\to\\isaacsim-mcp-server\\scripts\\run_mcp_server.ps1"]
    }
  }
}

{
  "mcpServers": {
    "isaac-sim": {
      "command": "/path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh"
    }
  }
}

{
  "mcpServers": {
    "isaac-sim": {
      "command": "powershell",
      "args": ["-NoProfile", "-ExecutionPolicy", "Bypass", "-File", "C:\\path\\to\\isaacsim-mcp-server\\scripts\\run_mcp_server.ps1"]
    }
  }
}

{
  "mcpServers": {
    "isaac-sim": {
      "command": "/path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh"
    }
  }
}

{
  "mcpServers": {
    "isaac-sim": {
      "command": "powershell",
      "args": ["-NoProfile", "-ExecutionPolicy", "Bypass", "-File", "C:\\path\\to\\isaacsim-mcp-server\\scripts\\run_mcp_server.ps1"]
    }
  }
}

{
  "mcpServers": {
    "isaac-sim": {
      "command": "/path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh"
    }
  }
}

{
  "mcpServers": {
    "isaac-sim": {
      "command": "powershell",
      "args": ["-NoProfile", "-ExecutionPolicy", "Bypass", "-File", "C:\\path\\to\\isaacsim-mcp-server\\scripts\\run_mcp_server.ps1"]
    }
  }
}

4. プロンプトを開始する

Check the connection with get_scene_info.
If the scene is empty, create a physics scene.
Add a Franka robot at the origin and a Go1 quadruped at [2, 0, 0].

アーキテクチャ

MCP Client (IDE)
      |
      v
isaacsim-mcp-server          (PyPI package / CLI)
      |
      v  TCP socket (localhost:8766)
      |
isaac.sim.mcp_extension      (Omniverse extension)
      |
      v
Handlers -> Adapter -> Isaac Sim 5.1 / 6.0 APIs

ツール

9 カテゴリにわたる 43 個のツール：

既知の制限事項

通常のセッションで発生する可能性のある未解決の不具合です。可能な場合は各機能の使用時に警告が表示されます。この一覧は、開始前に実行環境を選ぶためのものです。

プロンプトの例

シーンの初期設定

Check the connection with get_scene_info. If the scene is empty, create a physics scene.
Add stronger lighting and place a camera that looks at the workspace.

ロボットの配置

Create three Franka robots in a row at [0,0,0], [2,0,0], and [4,0,0].
Then add a Go1 robot at [1, 3, 0].

環境の読み込み

List available environments, choose a warehouse-like one, and load it.
Create a camera and capture an image.

アセットの検索と 3D 生成

Search for a rusty desk, load the best result near [0, 5, 0], scaled to [2, 2, 2].

高度な使い方

複数のインスタンス

複数の Isaac Sim セッションを並行して実行します。それぞれ異なるポートを使用します（8766 から自動割り当て）。

# First instance (default port 8766)
claude mcp add isaac-sim /path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh

# Second instance (port 8767)
claude mcp add isaac-sim-2 -e ISAAC_MCP_PORT=8767 -- /path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh

{
  "mcpServers": {
    "isaac-sim": {
      "command": "/path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh"
    },
    "isaac-sim-2": {
      "command": "/path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh",
      "env": { "ISAAC_MCP_PORT": "8767" }
    }
  }
}

デスクトップランチャー（Linux）

専用の Isaac Sim MCP アプリケーションアイコンをインストールします：

./scripts/install_desktop_entry.sh

これにより、ポートを自動で割り当て、拡張機能のソケットを待機し、終了時にクリーンアップするランチャーが作成されます。

推奨ワークフロー

1. get_scene_info から開始して、接続を確認します
2. ステージが空の場合は、物理シーンを作成します
3. execute_script よりも、目的に特化したツールを優先します
4. 読み込む前に list_available_robots ／ list_environments を使用します
5. create_action_graph を使用して、OnPlaybackTick → ScriptNode コントローラーを接続します
6. デバッグには、observe_prims および observe_joints とともに step_simulation を使用します
7. 再起動せずにコントローラーを反復調整するには、reload_script を使用します

デモ：Franka のピック＆プレース

モーションプランニングに RMPflow を使用する、すぐに実行できるデモは demo/franka_pick_place.py にあります：

Please use the Isaac MCP tool complete this:

Create a physics scene with a ground plane, then spawn a Franka FR3 robot at the origin.

Add two textured tables with a gap along Y. Place a small textured cube with physics enabled on top of the first table.

Use `create_action_graph` to wire `OnPlaybackTick` → `ScriptNode`, and write a pick-and-place controller script using RMPflow for motion planning. Save the script to the `demo/` directory.

Use `get_prim_info` to query actual positions and sizes of the tables and cube before writing the controller — do not hardcode coordinates.

Start the simulation with Play. The robot should pick the cube from table 1 and place it on table 2. Verify the process using `step_simulation` with `observe_prims` on the cube to confirm it reaches table 2.

create_action_graph と script_file を使用して、Action Graph と ScriptNode を一度にセットアップし、さらに可観測性ツールである get_joint_config、observe_prims とともに使用する step_simulation、get_physics_state、およびスクリプトのホットリロード用の edit_action_graph を利用します。

開発

# Run the MCP inspector
./.venv/bin/python -m mcp dev ./isaac_mcp/server.py

インスペクターは http://localhost:5173 で利用できます。

セットアップに関する注意事項

デフォルトを上書きするには：

PYTHON_SPEC=3.11 ./scripts/setup_python_env.sh
ISAACSIM_ROOT=/opt/isaacsim ./scripts/run_isaac_sim.sh
ISAACSIM_ENGINE=newton ./scripts/run_isaac_sim.sh

エンジンの選択は scripts/lib/isaac_launcher.sh にあります。各エンジンは、Isaac Sim に付属する対応ランチャースクリプトに割り当てられています。このマップにエントリーを追加するだけで、新しいバックエンドで ISAACSIM_ENGINE=<name> と --<name> の両方を、すべてのランチャースクリプトで使用できるようになります。

# Make sure you're in the repo root
pwd
test -f ./isaac.sim.mcp_extension/config/extension.toml && echo OK

コントリビューション

プルリクエストを歓迎します。ツール、ドキュメント、アダプター、テストの改善はいずれも役立ちます。

ライセンス

MIT License。Copyright (c) 2023-2025 omni-mcp、Copyright (c) 2026 whats2000。詳細は LICENSE を参照してください。