Isaac Sim MCP Extension and MCP Server

Isaac Sim MCP 扩展和 MCP 服务

MCP 服务及其扩展利用 Model Context Protocol（MCP）框架，实现通过自然语言控制 NVIDIA Isaac Sim，将对话式 AI 输入转化为精准的仿真操作。此扩展将 MCP 生态系统与具身智能应用连接起来。

功能

• 使用自然语言控制 Isaac Sim
• 动态定位和移动机器人
• 自定义灯光并创建场景
• 支持避障导航的高级机器人仿真
• 执行前交互式预览代码

要求

• NVIDIA Isaac Sim 4.2.0 或更高版本
• Python 3.9+
• 用于 MCP 集成的 Cursor AI 编辑器

必备前置条件

• 安装 uv/uvx：https://github.com/astral-sh/uv
• 在基础环境中安装 mcp[cli]：uv pip install "mcp[cli]"

安装

cd ~/Documents
git clone https://github.com/omni-mcp/isaac-sim-mcp

安装并启用扩展

Isaac Sim 扩展文件夹应指向你的项目文件夹：

• 扩展位置：~/Documents/isaac-sim-mcp
• 扩展 ID：isaac.sim.mcp_extension

# Enable extension in Isaac Simulation
# cd to your Isaac Sim installation directory
# You can change assets root to local with --/persistent/isaac/asset_root/default="<your asset location>"
# By default it is an AWS bucket, e.g. --/persistent/isaac/asset_root/default="/share/Assets/Isaac/4.2"
# Setup API KEY for Beaver3d and NVIDIA
export BEAVER3D_MODEL=<your beaver3d model name>
export export ARK_API_KEY=<Your Bearver3D API Key>
export NVIDIA_API_KEY="<your nvidia api key  and apply it from https://ngc.nvidia.com/signout>"

cd ~/.local/share/ov/pkg/isaac-sim-4.2.0
./isaac-sim.sh --ext-folder /home/ubuntu/Documents/isaac-sim-mcp/ --enable isaac.sim.mcp_extension 

确认扩展已成功启动。输出应如下所示：

[7.160s] [ext: isaac.sim.mcp_extension-0.1.0] startup
trigger  on_startup for:  isaac.sim.mcp_extension-0.1.0
settings:  {'envPath': '/home/ubuntu/.local/share/ov/data/Kit/Isaac-Sim/4.2/pip3-envs/default', 'archiveDirs': {}, 'installCheckIgnoreVersion': False, 'allowOnlineIndex': True, 'tryUpgradePipOnFirstUse': False}
Server thread startedIsaac Sim MCP server started on localhost:8766

扩展默认应监听 localhost:8766。

安装 MCP 服务

1. 前往终端并运行命令，确保 MCP 服务可以在基础 venv 环境下于终端中成功启动。

   uv pip install "mcp[cli]"
   uv run /home/ubuntu/Documents/isaac-sim-mcp/isaac_mcp/server.py
   

2. 启动 Cursor 并打开文件夹 ~/Documents/isaac-sim-mcp
3. 前往 Cursor 设置，选择 MCP 并添加全局 MCP 服务：

{
    "mcpServers": {
        "isaac-sim": {
            "command": "uv run /home/ubuntu/Documents/isaac-sim-mcp/isaac_mcp/server.py"
        }
    }
}

开发模式

要开发 MCP 服务，请启动 MCP inspector：

uv run mcp dev ~/Documents/isaac-sim-mcp/isaac_mcp/server.py

你可以通过 http://localhost:5173 访问调试页面。

仿真提示词示例

注意：输入提示词前，请在聊天对话框左上角切换到 Agent 模式，并选择 sonnet 3.7，以获得更好的编码效果。

机器人派对

# Create robots and improve lighting
create  3x3 frankas robots in these current stage across location [3, 0, 0] and [6, 3, 0]
always check connection with get_scene_info before execute code.
add more light in the stage


# Add specific robots at positions
create a g1 robot at [3, 9, 0]
add Go1 robot at location [2, 1, 0]
move go1 robot to [1, 1, 0]

工厂设置

# Create multiple robots in a row
acreate  3x3 frankas robots in these current stage across location [3, 0, 0] and [6, 3, 0]
always check connection with get_scene_info before execute code.
add more light in the stage

从零开始氛围编程

reference to g1.py to create an new g1 robot simulation and allow robot g1 walk straight  from [0, 0, 0] to [3, 0, 0] and [3, 3, 0]
create more obstacles in the stage

支持 beaver3d 模型的 Gen3D

Use following images to generate beaver 3d objects and place them into a grid area across [0, 0, 0] to [40, 40, 0] with scale [3, 3, 3]

<your image url here, could be multiple images urls>

USD 搜索

search a rusty desk and place it at [0, 5, 0] with scale [3, 3, 3]

MCP 工具

Isaac Sim MCP 扩展提供了多个专用工具，可在 Cursor AI 中通过自然语言调用。这些工具让你能够通过简单的命令控制和操作 NVIDIA Isaac Sim：

连接和场景管理

• get_scene_info - Ping Isaac Sim 扩展服务，以验证连接状态并获取基本场景信息。始终先使用此工具，确保连接处于活动状态。

物理和环境创建

• create_physics_scene - 使用可配置参数创建物理场景：
  • objects：要创建的对象列表（每个对象包含类型和位置）
  • floor：是否创建地面平面（默认值：true）
  • gravity：定义重力方向和大小的向量（默认值：[0, -0.981, 0]）
  • scene_name：场景名称（默认值："physics_scene"）

机器人创建和控制

• create_robot - 在场景中的指定位置创建机器人：
  • robot_type：要创建的机器人类型（选项："franka"、"jetbot"、"carter"、"g1"、"go1"）
  • position：[x, y, z] 位置坐标

Omniverse Kit 和脚本编写

• omni_kit_command - 执行 Omni Kit 命令：

  • command：要执行的 Omni Kit 命令（例如，"CreatePrim"）
  • prim_type：命令所用的图元类型（例如，"Sphere"）

• execute_script - 在 Isaac Sim 中执行任意 Python 代码：

  • code：要执行的 Python 代码

最佳使用实践

1. 执行任何命令前，始终使用 get_scene_info 检查连接
2. 添加机器人前，先使用 create_physics_scene 初始化物理场景
3. 尝试自定义脚本前，先使用 create_robot 放置标准机器人
4. 对于复杂仿真，使用 execute_script 并采用正确的异步模式
5. 执行前在聊天中预览代码，以便验证

贡献

欢迎贡献！请随时提交 Pull Request。

许可证

本项目采用 MIT License 授权，详情请参阅 LICENSE 文件。

视频演示

以下是 Isaac Sim MCP Extension 的运行演示：

机器人派对演示

GIF：使用自然语言命令向模拟中添加更多机器人

视频格式（MP4）

如需观看更高画质的视频，可直接访问 MP4 版本：

• 机器人派对演示（MP4）

在 GitHub 上查看时，点击上方链接即可观看或下载 MP4 文件。