关于 omniparser-autogui-mcp
omniparser-autogui-mcp 是一个 MCP 服务,使用 OmniParser 分析屏幕内容并自动操作图形界面。README 中注明已在 Windows 上确认可用,适合需要自动化桌面 GUI 操作的用户。
主要功能
- 01使用 OmniParser 分析屏幕
- 02自动执行图形界面操作
- 03可指定目标窗口进行操作
- 04支持 stdio 与 SSE 两种通信方式
适用场景
- 01在屏幕上的浏览器中执行搜索操作
- 02自动化 Windows 桌面的图形界面任务
MCP 相关
该项目是 MCP 服务,可在 Claude Desktop 等 MCP 客户端中通过 stdio 或 SSE 调用其屏幕分析与界面操作功能。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
我们还没有获取到这个服务的安装包或远程地址,请按项目 README 中的说明安装。
工具
本地服务需要在你的电脑上运行后才能读取工具,维护者暂未提供工具列表。
详细介绍
omniparser-autogui-mcp
这是一个 MCP 服务,可使用 OmniParser 分析屏幕并自动操作 GUI。
已在 Windows 上确认可用。
许可说明
本项目采用 MIT 许可证,但子模块和子包除外。
OmniParser 的仓库采用 CC-BY-4.0 许可证。
每个 OmniParser 模型的许可证各不相同(参考)。
安装
- 请执行以下操作:
git clone --recursive https://github.com/NON906/omniparser-autogui-mcp.git
cd omniparser-autogui-mcp
uv sync
set OCR_LANG=en
uv run download_models.py
(Windows 以外的平台请使用 export,而不是 set。)
(如果要运行 langchain_example.py,请改为执行 uv sync --extra langchain。)
- 将以下内容添加到
claude_desktop_config.json:
{
"mcpServers": {
"omniparser_autogui_mcp": {
"command": "uv",
"args": [
"--directory",
"D:\\CLONED_PATH\\omniparser-autogui-mcp",
"run",
"omniparser-autogui-mcp"
],
"env": {
"PYTHONIOENCODING": "utf-8",
"OCR_LANG": "en"
}
}
}
}
(将 D:\\CLONED_PATH\\omniparser-autogui-mcp 替换为克隆到的目录。)
env 可用于设置以下附加配置:
-
OMNI_PARSER_BACKEND_LOAD
如果无法与其他客户端(例如 LibreChat)配合使用,请指定1。 -
TARGET_WINDOW_NAME
如果要指定要操作的窗口,请填写窗口名称。
如果未指定,则会操作整个屏幕。 -
OMNI_PARSER_SERVER
如果要在其他设备上运行 OmniParser 处理,请指定服务的地址和端口,例如127.0.0.1:8000。
可使用uv run omniparserserver启动服务。 -
SSE_HOST、SSE_PORT
如果指定这些参数,通信将通过 SSE 而非 stdio 进行。 -
SOM_MODEL_PATH、CAPTION_MODEL_NAME、CAPTION_MODEL_PATH、OMNI_PARSER_DEVICE、BOX_TRESHOLD
这些参数用于配置 OmniParser。
通常无需设置。
使用示例
- 在屏幕上的浏览器中搜索“MCP server”。
等等。
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。