Paint Drawing Agent

绘图 Agent

一款基于 Python 的自动化工具，使用 Google 的 Gemini AI 通过自然语言命令控制 Microsoft Paint。本项目让用户能够使用简单的英语指令在 MS Paint 中绘制形状、输入文本和调整颜色。

功能

• 使用自然语言控制 MS Paint
• 自动绘制形状（圆形、矩形、线条）
• 可控制位置的文本插入
• 颜色选择与管理
• 窗口管理与画布定位
• 详细的日志记录与错误处理
• 位置校准系统

先决条件

• Windows 10 或更高版本
• Python 3.8+
• Microsoft Paint（mspaint.exe）
• Gemini AI 的 Google Cloud API 密钥

安装

1. 克隆仓库：

git clone [repository-url]
cd paint-drawing-agent

2. 安装所需依赖项：

pip install -r requirements.txt

3. 在项目根目录中创建 .env 文件，并添加你的 Google API 密钥：

GOOGLE_API_KEY=your_api_key_here

项目结构

paint-drawing-agent/
├── talk2mcp.py           # Main application file
├── tools/                # Core automation tools
│   ├── __init__.py
│   └── paint_commands.py # Paint automation commands
├── calibration_profiles/ # Stored calibration data
├── LLM_LOGS/            # AI interaction logs
├── logs/                # Application logs
└── requirements.txt     # Project dependencies

使用方法

1. 启动绘图 Agent：

python talk2mcp.py

2. 输入自然语言命令，例如：

• “在中心画一个红色圆形”
• “在顶部用黑色写上 ‘Hello World’”
• “在右侧画一个蓝色矩形”

3. 输入 'quit' 退出程序

命令示例

> Draw a red circle in the center
> Write 'Hello World' in black at the top
> Draw a blue rectangle at coordinates 400,300
> Draw a green line from top to bottom

校准

系统使用校准机制准确定位 Paint 界面元素。重新校准的方法：

1. 运行校准脚本：

python enhanced_calibrate.py

2. 按照屏幕上的说明校准工具位置

日志记录

系统会维护多种类型的日志：

• 应用日志：/logs/paint_agent_[timestamp].log
• LLM 交互日志：/LLM_LOGS/session_log.json
• 校准日志：/calibration_profiles/

错误处理

系统包含全面的错误处理机制，适用于以下情况：

• 窗口管理问题
• 绘图操作失败
• AI 通信错误
• 位置校准问题

参与贡献

1. Fork 仓库
2. 创建功能分支
3. 提交更改
4. 推送到分支
5. 创建 Pull Request

故障排除

常见问题及解决方法：

1. 未找到 Paint 窗口

   • 确保已安装 MS Paint
   • 先尝试手动运行 Paint

2. 绘图位置问题

   • 再次运行校准
   • 检查屏幕分辨率是否与校准时一致

3. AI 通信错误

   • 检查 .env 文件中的 API 密钥
   • 检查网络连接

许可证

[在此填写许可证]

致谢

• Google Gemini AI：提供自然语言处理能力
• PyAutoGUI：用于 GUI 自动化
• Win32GUI：用于 Windows 交互