关于 Auten
Auten 是供 Agent 操作真实桌面应用的计算机使用 MCP 服务,也适用于没有 API 的应用。本地 runner 读取界面元素并执行操作,完成的任务可保存为技能并重复运行。
主要功能
- 01通过无障碍数据读取界面元素
- 02点击、输入、滚动和管理窗口
- 03必要时使用 OCR 和屏幕截图
- 04将任务保存为可重放技能
- 05填写已存登录信息而不泄露密码
- 06通过 USB 控制 Android 手机(测试版)
适用场景
- 01从没有 API 的应用导出报告
- 02从供应商门户下载发票
- 03根据邮件信息更新 CRM 记录
- 04重放已完成的桌面任务
MCP 相关
本地 runner 通过 stdio 或 SSE 向客户端提供计算机控制工具。客户端可通过 auten mcp-bridge 或 npm launcher 连接;远程 SSE 连接可使用 runner-only 模式。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
1收录的工具列表 · 更新于 2 周前
此工具无需参数。
详细介绍
Auten MCP 服务
让你已有的 AI Agent 操作电脑。
Claude Code、Codex、Cursor、Gemini CLI 或任何 MCP 客户端,都可以在你的 Mac、Windows 或 Linux 电脑以及 Android 手机(测试版)上点击、输入和读取屏幕内容,操作没有 API 的真实应用。
网站 | 各类客户端的设置方法 | 价格 | [email protected]

示意图:首次运行由你的 AI 驱动,之后的运行会根据记忆重放。
Auten 是双手,你的 AI 是大脑。电脑上的一个小型运行程序负责点击、输入和读取屏幕。你的 Agent 通过 MCP(stdio 或 SSE)与它通信。Auten 不会自带模型,也不需要你的 AI 密钥;你的 Agent 会继续使用你已付费的套餐。
它与普通鼠标和键盘桥接工具的不同之处:
- 读取 UI,而不只是像素。 它使用无障碍树,因此你的 Agent 会获得真实按钮和字段的编号列表(
list_elements然后click_at(3)),而不是猜测坐标。如果应用没有无障碍信息,还可以使用 OCR 和真实屏幕截图。 - 学习一次任务,无需 AI 即可重放。 你的 Agent 完成任务后,Auten 可以将其保存为技能。下次运行时,它会在几秒内重放,不消耗令牌;当应用布局发生变化时,它还会自动修正。
- 密码保留在你的设备上。
fill_login会将已存储的机密输入字段,而 Agent 始终无法看到其内容。

真实录制,并非示意图:Agent 首次运行(约 14 秒,含思考时间),然后使用新值运行 run_skill(4.8 秒,没有模型调用)。本地测试页面,1 fps,两次运行之间有一次剪辑。
你可以向 Agent 提出什么要求
在你已使用的客户端中提出普通请求。Agent 决定操作步骤,Auten 负责点击。
- “打开供应商门户,下载本月的发票,并将它们放到 ~/Invoices。”
- “检查 CRM 中的新潜在客户,并根据他们的邮件填写缺失的公司名称。”
- “将那个桌面应用中的报告导出为 CSV。它没有 API,所以请使用 File 菜单。”
- “在我的 Android 手机上打开 Instagram,用这段文字回复最新的私信。”(手机功能处于测试版,通过 USB 连接)
- “刚才成功了。把它保存为名为
export-report的技能。”下次只需说:“运行export-report。”它会在没有 AI 的情况下重放。
快速开始
1. 安装运行程序(只需一条命令;在 macOS 和 Windows 上无需管理员权限,在 Linux 上会要求你输入一次 sudo,以便通过 apt 安装辅助功能和输入工具):
# macOS and Linux
curl -fsSL https://auten.ai/install | bash
# Windows (PowerShell)
irm https://auten.ai/install.ps1 | iex
首次运行时会提示你连接一个免费密钥(每月可使用 30 分钟,无需银行卡)。
2. 将 Auten 添加到你的 Agent。 对于 Claude Code,Auten 可以自动完成:
auten connect
或者使用 Claude Code CLI 添加,并通过 /mcp 检查:
claude mcp add -s user auten -- auten mcp-bridge
3. 用自然语言提出要求。 例如:"打开 Figma,将 Hero 画板导出为 PNG 到我的桌面" 或 "检查邮件中未读的发票,并将它们填入会计应用"。 有关电脑和手机(测试版)任务的更多提示词,请参阅:examples/prompts.md。
或通过 npx 运行
任何可以启动 npm 包的客户端都可以改用启动器。它会启动已安装的 运行程序;如果尚未安装 Auten,则会告知你的 Agent 一条命令即可完成安装。 顶部的“添加到 Cursor”和“VS Code”按钮添加的正是此条目。
{
"mcpServers": {
"auten": { "command": "npx", "args": ["-y", "@autenai/mcp"] }
}
}
claude mcp add -s user auten -- npx -y @autenai/mcp
在 Windows 上,如果客户端报告 spawn npx ENOENT:此处的 npx 是 npx.cmd,而且某些客户端会在不使用 shell 的情况下启动服务。请使用 "command": "cmd", "args": ["/c", "npx", "-y", "@autenai/mcp"]
(Claude Code:claude mcp add -s user auten -- cmd /c npx -y @autenai/mcp),或使用下方的直接
auten mcp-bridge 条目。
或作为 Claude Code 插件
此仓库也是一个插件市场。在 Claude Code 中:
/plugin marketplace add auten-ai/auten-mcp
/plugin install auten@auten
该插件会添加相同的 npx 启动器条目,不包含其他内容(没有钩子或命令)。请参阅 plugin/README.md。
客户端配置
每个客户端都会启动相同的 stdio 命令:auten mcp-bridge(或 npx -y @autenai/mcp)。如果你的应用提示找不到
auten,请使用 which auten 返回的完整路径(通常是 ~/.local/bin/auten)。
OpenAI Codex
codex mcp add auten -- auten mcp-bridge
或在 ~/.codex/config.toml 中:
[mcp_servers.auten]
command = "auten"
args = ["mcp-bridge"]
Cursor
~/.cursor/mcp.json(或项目中的 .cursor/mcp.json):
{
"mcpServers": {
"auten": { "command": "auten", "args": ["mcp-bridge"] }
}
}
Gemini CLI
gemini mcp add --scope user auten auten mcp-bridge
或在 ~/.gemini/settings.json 中添加相同的 mcpServers 条目。
GitHub Copilot CLI
copilot mcp add auten -- auten mcp-bridge
或在 ~/.copilot/mcp-config.json 中:
{
"mcpServers": {
"auten": { "type": "local", "command": "auten", "args": ["mcp-bridge"], "tools": ["*"] }
}
}
在会话中,/mcp add 会打开相同的表单(类型选 STDIO,命令为 auten mcp-bridge)。
Claude Desktop
设置,开发者,编辑配置
(macOS 上为 ~/Library/Application Support/Claude/claude_desktop_config.json,
Windows 上为 %APPDATA%\Claude\claude_desktop_config.json):
{
"mcpServers": {
"auten": { "command": "auten", "args": ["mcp-bridge"] }
}
}
重启 Claude Desktop。
VS Code (GitHub Copilot agent mode)
运行 MCP: Open User Configuration 并添加:
{
"servers": {
"auten": { "type": "stdio", "command": "auten", "args": ["mcp-bridge"] }
}
}
Windsurf
~/.codeium/windsurf/mcp_config.json:
{
"mcpServers": {
"auten": { "command": "auten", "args": ["mcp-bridge"] }
}
}
Zed
~/.config/zed/settings.json:
{
"context_servers": {
"auten": { "command": "auten", "args": ["mcp-bridge"] }
}
}
Cline
请 Cline 根据 llms-install.md 配置 Auten,或者自行在
MCP Servers、Configure(cline_mcp_settings.json)中添加:
{
"mcpServers": {
"auten": { "command": "auten", "args": ["mcp-bridge"] }
}
}
远程(SSE),而非 stdio
对于通过网络连接的客户端,请让运行程序在需要控制的电脑上保持在线:
auten --runner-only
然后使用你在账户页面获取的个人 MCP URL。该 URL 中包含你的密钥,请妥善保密。
claude mcp add --transport sse auten <your-url>
没有 Agent?使用你自己的密钥(Anthropic、OpenAI、Google、DeepSeek 或任何兼容 OpenAI 的服务提供商)运行 auten CLI 命令 auten key add,然后运行 auten "open my calendar and tell me what is next"。
工具
| 分组 | 工具 |
|---|---|
| 查看屏幕 | list_elements、read_text、screenshot、screenshot_labeled、vision、screen_info |
| 操作 | click_at、click、fill、type、paste_text、press_keys、scroll、drag、move_mouse、act_on_matching、menu_select |
| 应用和窗口 | open_app、open_url、focus_window、browser_tabs、save_file、upload_file、clipboard_read |
| 密钥 | list_logins、fill_login、get_profile |
| 已学习的技能 | list_skills、run_skill、skills、show_skill、start_recording、stop_recording、start_fixing、stop_fixing |
| 协调 | ask_user、focus_app、release、gui_status、wait、opened_items、browser_cleanup |
平台
macOS(Apple Silicon 和 Intel)、Windows 10/11、Linux(X11),以及通过 USB 连接的 Android 手机(测试版)。
Linux:安装程序卡在“deps”步骤? 它需要使用一次 sudo 来安装辅助功能(AT-SPI)和输入工具。
在全新或精简的系统上(apt 列表为空,或没有 python3-venv),请先安装这些工具,然后重新运行安装程序:
sudo apt-get update
sudo apt-get install -y python3-venv python3-pyatspi python3-gi xdotool wmctrl scrot xclip libglib2.0-bin tesseract-ocr libsecret-tools
Auten 驱动真实的 X11 桌面会话,因此没有显示器的无头容器无法运行。 仍然无法解决?请将最后几行日志粘贴到 Discussions。
定价
| 套餐 | 使用时长 | 价格 |
|---|---|---|
| Free | 每月 30 分钟 | €0,无需银行卡 |
| Starter | 每月 10 小时 | €9/月(早期体验) |
| Pro | 不限时长 | €29/月(早期体验) |
AI 由你自备,因此费用仅用于 Auten。详情请参阅 auten.ai/pricing。
隐私与安全
- 只有在 MCP 客户端调用工具时,运行器才会执行操作。它不会自行在后台运行。
- 保存的密码存储在系统钥匙串(macOS、Windows)或本地私密保险库(Linux)中, 绝不会传到我们的服务或模型。屏幕上显示的密钥会在 Agent 看到之前被占位符替换。
- 每个已保存的登录信息都会绑定到首次使用它的网站或应用。在其他任何来源上,
fill_login都会拒绝操作且不会输入任何内容;只有你可以重新绑定它(auten vault unpin <name>)。 - 你的活动记录和已学习的技能保存在你自己的电脑上,而不是我们的电脑上。 请参阅隐私政策。
关于此仓库
此仓库包含公开文档、客户端配置以及 @autenai/mcp npm 启动器
(bin/auten-mcp.js),均采用 MIT 许可证。运行器通过上述安装程序单独分发,
并受 Auten 服务条款约束。欢迎通过 issues 或发送邮件至 [email protected] 提出问题、报告错误和提交功能请求。
Auten 由立陶宛的 MB Icecode 打造。
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。
