🚀 Automation MCP

🤖 自动化 MCP

Automation MCP 是一个 Model Context Protocol（MCP）服务，可为 AI 模型提供 macOS 上的完整桌面自动化能力。它使 AI 助手能够：

• 🖱️ 控制鼠标（点击、移动、滚动、拖动）
• ⌨️ 输入文字并发送键盘输入（包括系统快捷键）
• 📸 截取屏幕截图并分析屏幕内容
• 🪟 管理窗口（聚焦、移动、调整大小、最小化）
• 🎯 通过坐标与 UI 元素交互
• 🎨 分析屏幕颜色并突出显示区域
• 🔍 等待图像出现在屏幕上

🚀 快速开始

确保已安装 furi，然后运行以下命令：

furi add ashwwwin/automation-mcp

接着运行：

furi start ashwwwin/automation-mcp

就完成了！（或者也可以直接使用 furi 桌面应用，无需命令行。）

🥲 常规启动（不使用 furi）

前置条件

• Bun 运行时——通过以下命令安装：curl -fsSL https://bun.sh/install | bash

1. 克隆并安装

git clone https://github.com/ashwwwin/automation-mcp.git
cd automation-mcp
bun install

2. 启动服务

# Start with HTTP transport (recommended for web apps)
bun run index.ts

# Or start with stdio transport (for command line tools)
bun run index.ts --stdio

3. 授予权限

首次运行时，macOS 会请求权限。要使用全部功能，必须授予以下权限：

1. 辅助功能——允许控制键盘和鼠标
2. 屏幕录制——支持截屏和屏幕分析

也可以在以下位置手动启用：系统设置 → 隐私与安全性 → 辅助功能/屏幕录制

🛠️ 可用工具

🖱️ 鼠标控制

• mouseClick - 按坐标点击，可使用左键、右键或中键
• mouseDoubleClick - 按坐标双击
• mouseMove - 将光标移动到指定位置
• mouseGetPosition - 获取当前光标位置
• mouseScroll - 向任意方向滚动
• mouseDrag - 从当前位置拖动到目标位置
• mouseButtonControl - 按下/释放鼠标按键
• mouseMovePath - 沿着包含多个点的平滑路径移动

⌨️ 键盘输入

• type - 输入文字或按下组合键
• keyControl - 高级按键按下/释放控制
• systemCommand - 常用快捷键（复制、粘贴、撤销、保存等）

📸 屏幕捕获与分析

• screenshot - 截取整个屏幕、指定区域或特定窗口
• screenInfo - 获取屏幕尺寸
• screenHighlight - 以可视方式突出显示屏幕区域
• colorAt - 获取任意像素的颜色
• waitForImage - 等待图像出现（模板匹配）

🪟 窗口管理

• getWindows - 列出所有已打开的窗口
• getActiveWindow - 获取当前活动窗口
• windowControl - 聚焦、移动、调整窗口大小或将窗口最小化

🔒 安全与权限

1. 辅助功能——以下操作需要此权限：

   • 点击和移动鼠标
   • 模拟键盘输入
   • 管理窗口

2. 屏幕录制——以下操作需要此权限：

   • 截取屏幕截图
   • 分析屏幕
   • 检测颜色

🚀 集成示例

与 Claude Desktop + furi 配合使用

如果你已在 furi 中配置好 Claude Desktop，则无需进行任何操作。

添加到 MCP 配置中：

{
  "mcpServers": {
    "furi": {
      "command": "furi",
      "args": ["connect"]
    }
  }
}

与 Claude Desktop 配合使用

添加到 MCP 配置中：

{
  "mcpServers": {
    "automation": {
      "command": "bun",
      "args": ["run", "/path/to/automation-mcp/index.ts", "--stdio"]
    }
  }
}

🐛 故障排除

常见问题

权限被拒绝错误

• 确保已授予辅助功能和屏幕录制权限
• 确保已安装 Xcode 命令行工具：xcode-select --install

🙋‍♂️ 支持

遇到问题？请查看上方的故障排除部分，或提交问题并附上以下信息：

• 操作系统及版本
• 错误消息
• 重现步骤