mcpField
A
Auten

Auten

本地服务
auten.ai生产力02 周前更新

关于 Auten

Auten 是供 Agent 操作真实桌面应用的计算机使用 MCP 服务,也适用于没有 API 的应用。本地 runner 读取界面元素并执行操作,完成的任务可保存为技能并重复运行。

主要功能

  1. 01通过无障碍数据读取界面元素
  2. 02点击、输入、滚动和管理窗口
  3. 03必要时使用 OCR 和屏幕截图
  4. 04将任务保存为可重放技能
  5. 05填写已存登录信息而不泄露密码
  6. 06通过 USB 控制 Android 手机(测试版)

适用场景

  1. 01从没有 API 的应用导出报告
  2. 02从供应商门户下载发票
  3. 03根据邮件信息更新 CRM 记录
  4. 04重放已完成的桌面任务

MCP 相关

本地 runner 通过 stdio 或 SSE 向客户端提供计算机控制工具。客户端可通过 auten mcp-bridge 或 npm launcher 连接;远程 SSE 连接可使用 runner-only 模式。

配置

本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置
{
"mcpServers": {
"ai-auten": {
"command": "npx",
"args": [
"-y",
"@autenai/mcp"
]
}
}
}
启动命令npx -y @autenai/mcp

本地服务需要在你的电脑上安装运行环境(如 Node.js 18+)。各客户端的配置文件位置不同,请参考客户端文档。

安装包
npm@autenai/mcp0.1.5

工具

1

收录的工具列表 · 更新于 2 周前

此工具无需参数。

详细介绍

Auten:电脑操作 MCP 服务

Auten MCP 服务

让你已有的 AI Agent 操作电脑。
Claude Code、Codex、Cursor、Gemini CLI 或任何 MCP 客户端,都可以在你的 Mac、Windows 或 Linux 电脑以及 Android 手机(测试版)上点击、输入和读取屏幕内容,操作没有 API 的真实应用。

npm 将 Auten 添加到 Cursor 将 Auten 添加到 VS Code

网站  |  各类客户端的设置方法  |  价格  |  [email protected]

动画:Claude Code 请 Auten 在 Instagram 上回复消息;Auten 打开应用,找到聊天并发送。下次运行时,它会在几秒内根据记忆重放同一任务,无需消耗令牌。
示意图:首次运行由你的 AI 驱动,之后的运行会根据记忆重放。


Auten 是双手,你的 AI 是大脑。电脑上的一个小型运行程序负责点击、输入和读取屏幕。你的 Agent 通过 MCP(stdio 或 SSE)与它通信。Auten 不会自带模型,也不需要你的 AI 密钥;你的 Agent 会继续使用你已付费的套餐。

它与普通鼠标和键盘桥接工具的不同之处:

  • 读取 UI,而不只是像素。 它使用无障碍树,因此你的 Agent 会获得真实按钮和字段的编号列表(list_elements 然后 click_at(3)),而不是猜测坐标。如果应用没有无障碍信息,还可以使用 OCR 和真实屏幕截图。
  • 学习一次任务,无需 AI 即可重放。 你的 Agent 完成任务后,Auten 可以将其保存为技能。下次运行时,它会在几秒内重放,不消耗令牌;当应用布局发生变化时,它还会自动修正。
  • 密码保留在你的设备上。 fill_login 会将已存储的机密输入字段,而 Agent 始终无法看到其内容。

真实屏幕录制:AI Agent 通过 Auten MCP 在约 14 秒内填写本地联系表单并将其保存为技能;随后 run_skill 使用新值在 4.8 秒内重放,全程没有调用模型。
真实录制,并非示意图:Agent 首次运行(约 14 秒,含思考时间),然后使用新值运行 run_skill(4.8 秒,没有模型调用)。本地测试页面,1 fps,两次运行之间有一次剪辑。

你可以向 Agent 提出什么要求

在你已使用的客户端中提出普通请求。Agent 决定操作步骤,Auten 负责点击。

  • “打开供应商门户,下载本月的发票,并将它们放到 ~/Invoices。”
  • “检查 CRM 中的新潜在客户,并根据他们的邮件填写缺失的公司名称。”
  • “将那个桌面应用中的报告导出为 CSV。它没有 API,所以请使用 File 菜单。”
  • “在我的 Android 手机上打开 Instagram,用这段文字回复最新的私信。”(手机功能处于测试版,通过 USB 连接)
  • “刚才成功了。把它保存为名为 export-report 的技能。”下次只需说:“运行 export-report。”它会在没有 AI 的情况下重放。

快速开始

1. 安装运行程序(只需一条命令;在 macOS 和 Windows 上无需管理员权限,在 Linux 上会要求你输入一次 sudo,以便通过 apt 安装辅助功能和输入工具):

# macOS and Linux
curl -fsSL https://auten.ai/install | bash
# Windows (PowerShell)
irm https://auten.ai/install.ps1 | iex

首次运行时会提示你连接一个免费密钥(每月可使用 30 分钟,无需银行卡)。

2. 将 Auten 添加到你的 Agent。 对于 Claude Code,Auten 可以自动完成:

auten connect

或者使用 Claude Code CLI 添加,并通过 /mcp 检查:

claude mcp add -s user auten -- auten mcp-bridge

3. 用自然语言提出要求。 例如:"打开 Figma,将 Hero 画板导出为 PNG 到我的桌面" 或 "检查邮件中未读的发票,并将它们填入会计应用"。 有关电脑和手机(测试版)任务的更多提示词,请参阅:examples/prompts.md。

或通过 npx 运行

任何可以启动 npm 包的客户端都可以改用启动器。它会启动已安装的 运行程序;如果尚未安装 Auten,则会告知你的 Agent 一条命令即可完成安装。 顶部的“添加到 Cursor”和“VS Code”按钮添加的正是此条目。

{
  "mcpServers": {
    "auten": { "command": "npx", "args": ["-y", "@autenai/mcp"] }
  }
}
claude mcp add -s user auten -- npx -y @autenai/mcp

在 Windows 上,如果客户端报告 spawn npx ENOENT:此处的 npx 是 npx.cmd,而且某些客户端会在不使用 shell 的情况下启动服务。请使用 "command": "cmd", "args": ["/c", "npx", "-y", "@autenai/mcp"] (Claude Code:claude mcp add -s user auten -- cmd /c npx -y @autenai/mcp),或使用下方的直接 auten mcp-bridge 条目。

或作为 Claude Code 插件

此仓库也是一个插件市场。在 Claude Code 中:

/plugin marketplace add auten-ai/auten-mcp
/plugin install auten@auten

该插件会添加相同的 npx 启动器条目,不包含其他内容(没有钩子或命令)。请参阅 plugin/README.md。

客户端配置

每个客户端都会启动相同的 stdio 命令:auten mcp-bridge(或 npx -y @autenai/mcp)。如果你的应用提示找不到 auten,请使用 which auten 返回的完整路径(通常是 ~/.local/bin/auten)。

OpenAI Codex
codex mcp add auten -- auten mcp-bridge

或在 ~/.codex/config.toml 中:

[mcp_servers.auten]
command = "auten"
args = ["mcp-bridge"]
Cursor

~/.cursor/mcp.json(或项目中的 .cursor/mcp.json):

{
  "mcpServers": {
    "auten": { "command": "auten", "args": ["mcp-bridge"] }
  }
}
Gemini CLI
gemini mcp add --scope user auten auten mcp-bridge

或在 ~/.gemini/settings.json 中添加相同的 mcpServers 条目。

GitHub Copilot CLI
copilot mcp add auten -- auten mcp-bridge

或在 ~/.copilot/mcp-config.json 中:

{
  "mcpServers": {
    "auten": { "type": "local", "command": "auten", "args": ["mcp-bridge"], "tools": ["*"] }
  }
}

在会话中,/mcp add 会打开相同的表单(类型选 STDIO,命令为 auten mcp-bridge)。

Claude Desktop

设置,开发者,编辑配置 (macOS 上为 ~/Library/Application Support/Claude/claude_desktop_config.json, Windows 上为 %APPDATA%\Claude\claude_desktop_config.json):

{
  "mcpServers": {
    "auten": { "command": "auten", "args": ["mcp-bridge"] }
  }
}

重启 Claude Desktop。

VS Code (GitHub Copilot agent mode)

运行 MCP: Open User Configuration 并添加:

{
  "servers": {
    "auten": { "type": "stdio", "command": "auten", "args": ["mcp-bridge"] }
  }
}
Windsurf

~/.codeium/windsurf/mcp_config.json:

{
  "mcpServers": {
    "auten": { "command": "auten", "args": ["mcp-bridge"] }
  }
}
Zed

~/.config/zed/settings.json:

{
  "context_servers": {
    "auten": { "command": "auten", "args": ["mcp-bridge"] }
  }
}
Cline

请 Cline 根据 llms-install.md 配置 Auten,或者自行在 MCP Servers、Configure(cline_mcp_settings.json)中添加:

{
  "mcpServers": {
    "auten": { "command": "auten", "args": ["mcp-bridge"] }
  }
}
远程(SSE),而非 stdio

对于通过网络连接的客户端,请让运行程序在需要控制的电脑上保持在线:

auten --runner-only

然后使用你在账户页面获取的个人 MCP URL。该 URL 中包含你的密钥,请妥善保密。

claude mcp add --transport sse auten <your-url>

没有 Agent?使用你自己的密钥(Anthropic、OpenAI、Google、DeepSeek 或任何兼容 OpenAI 的服务提供商)运行 auten CLI 命令 auten key add,然后运行 auten "open my calendar and tell me what is next"。

工具

分组工具
查看屏幕list_elements、read_text、screenshot、screenshot_labeled、vision、screen_info
操作click_at、click、fill、type、paste_text、press_keys、scroll、drag、move_mouse、act_on_matching、menu_select
应用和窗口open_app、open_url、focus_window、browser_tabs、save_file、upload_file、clipboard_read
密钥list_logins、fill_login、get_profile
已学习的技能list_skills、run_skill、skills、show_skill、start_recording、stop_recording、start_fixing、stop_fixing
协调ask_user、focus_app、release、gui_status、wait、opened_items、browser_cleanup

平台

macOS(Apple Silicon 和 Intel)、Windows 10/11、Linux(X11),以及通过 USB 连接的 Android 手机(测试版)。

Linux:安装程序卡在“deps”步骤? 它需要使用一次 sudo 来安装辅助功能(AT-SPI)和输入工具。 在全新或精简的系统上(apt 列表为空,或没有 python3-venv),请先安装这些工具,然后重新运行安装程序:

sudo apt-get update
sudo apt-get install -y python3-venv python3-pyatspi python3-gi xdotool wmctrl scrot xclip libglib2.0-bin tesseract-ocr libsecret-tools

Auten 驱动真实的 X11 桌面会话,因此没有显示器的无头容器无法运行。 仍然无法解决?请将最后几行日志粘贴到 Discussions。

定价

套餐使用时长价格
Free每月 30 分钟€0,无需银行卡
Starter每月 10 小时€9/月(早期体验)
Pro不限时长€29/月(早期体验)

AI 由你自备,因此费用仅用于 Auten。详情请参阅 auten.ai/pricing。

隐私与安全

  • 只有在 MCP 客户端调用工具时,运行器才会执行操作。它不会自行在后台运行。
  • 保存的密码存储在系统钥匙串(macOS、Windows)或本地私密保险库(Linux)中, 绝不会传到我们的服务或模型。屏幕上显示的密钥会在 Agent 看到之前被占位符替换。
  • 每个已保存的登录信息都会绑定到首次使用它的网站或应用。在其他任何来源上, fill_login 都会拒绝操作且不会输入任何内容;只有你可以重新绑定它(auten vault unpin <name>)。
  • 你的活动记录和已学习的技能保存在你自己的电脑上,而不是我们的电脑上。 请参阅隐私政策。

关于此仓库

此仓库包含公开文档、客户端配置以及 @autenai/mcp npm 启动器 (bin/auten-mcp.js),均采用 MIT 许可证。运行器通过上述安装程序单独分发, 并受 Auten 服务条款约束。欢迎通过 issues 或发送邮件至 [email protected] 提出问题、报告错误和提交功能请求。

Auten 由立陶宛的 MB Icecode 打造。

评论

支持 Markdown

第一次接触 MCP?

从协议是什么,到在客户端里装上第一个服务,这几条回答覆盖了大多数入门问题。

一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。