Model Context Protocol (MCP) MSPaint App Automation

Model Context Protocol (MCP) MSPaint 应用自动化

本项目演示了如何使用 Model Context Protocol (MCP) 自动操作旧版 Windows 应用程序（MSPaint）。项目使用 pywinauto 控制 Paint 应用程序，并使用 fastmcp 定义可供 AI Agent 调用的工具。由 Google Gemini 模型驱动的 AI Agent 使用这些工具执行绘制矩形、向 Paint 画布添加文本等任务。

目录

• 简介
• Model Context Protocol (MCP)
• 项目结构
• 要求
• 设置
• 用法
• 工作原理
• 关键组件
• 故障排除
• 贡献
• 许可证

简介

本项目展示了如何使用 AI Agent 自动操作 MSPaint。Agent 可以打开 Paint、绘制矩形并添加文本，所有操作均由自然语言指令驱动。这是通过 Model Context Protocol (MCP) 实现的，它允许 AI Agent 调用 Python 代码中定义的特定函数（工具）。

Model Context Protocol (MCP)

Model Context Protocol (MCP) 是一个让 AI 模型能够与外部工具和资源交互的框架。它为模型调用函数、检索数据以及在现实世界中执行操作提供了标准化方式。在本项目中，MCP 用于将 Paint 自动化函数作为工具提供给 AI Agent 使用。

项目结构

├── MSPaint-MCP-Server/
│ ├── mcp_server.py # Defines the MCP server with tools for Paint automation 
│ ├── mcp_client.py # Defines the MCP client that interacts with the server and AI model 
│ ├── requirements.txt # Lists the project dependencies 
│ └── .env # Stores the Gemini API key 
├── README.md # This file

要求

• Python 3.11+
• Conda（建议用于环境管理）
• Google Gemini API 密钥
• pywin32
• pywinauto
• fastmcp
• python-dotenv
• google-genai

设置

1. 创建 Conda 环境：

   conda create -n eagenv python=3.11
   conda activate eagenv
   

2. 安装依赖：

   pip install -r requirements.txt
   

3. 设置 Gemini API 密钥：

   • 在目录中创建 .env 文件。

   • 将 Gemini API 密钥添加到 .env 文件中：

     GEMINI_API_KEY=YOUR_API_KEY
     

用法

1. 运行 MCP 客户端：

   python mcp_paint_app/mcp_client.py
   

   这将启动 MCP 客户端，连接到 MCP 服务，初始化 AI Agent，并开始自动化流程。

工作原理

1. MCP 服务（mcp_server.py）：

   • 定义用于与 MSPaint 交互的工具（例如，open_paint、draw_rectangle、add_text_in_paint）。
   • 使用 pywinauto 控制 MSPaint 应用程序。
   • 通过 fastmcp 库提供这些工具。

2. MCP 客户端（mcp_client.py）：

   • 连接到 MCP 服务。
   • 使用 Google Gemini 模型生成指令。
   • 解析模型输出，以确定要调用哪个工具。
   • 调用 MCP 服务上相应的工具。
   • 处理工具的响应，并将其反馈给模型。

3. AI Agent（Google Gemini）：

   • 接收查询（例如，“返回前 20 个 Fibonacci 数的总和。”）。
   • 使用可用工具（在系统提示词中定义）解决问题。
   • 生成函数调用（例如，FUNCTION_CALL: fibonacci_numbers|20）来使用工具。
   • 提供最终答案（例如，FINAL_ANSWER: 6765），并使用 Paint 显示结果。

关键组件

• mcp_server.py： 包含 MSPaint 自动化的核心逻辑。open_paint、draw_rectangle 和 add_text_in_paint 函数是 AI Agent 使用的关键工具。
• mcp_client.py： 管理 AI Agent 与 MCP 服务之间的交互。它会设置系统提示词、调用工具并处理响应。
• requirements.txt： 列出项目所需的所有 Python 包。
• .env： 存储 Google Gemini API 密钥。

故障排除

• **权限问题：**如果遇到权限问题，请尝试以管理员身份运行脚本。
• **坐标问题：**在 MSPaint 中点击所用的坐标可能需要根据屏幕分辨率和窗口大小进行调整。使用代码中的调试打印语句找出正确的坐标。
• **工具选择问题：**如果 AI Agent 未选择正确的工具，请检查系统提示词并确保工具描述准确。
• **API 密钥问题：**确保在 .env 文件中正确设置了 Gemini API 密钥。

贡献

欢迎贡献！请提交包含更改的拉取请求。

许可证

MIT 许可证