Paint Drawing Agent

Paint 描画エージェント

Google の Gemini AI を使用し、自然言語コマンドで Microsoft Paint を操作する Python ベースの自動化ツールです。このプロジェクトでは、簡単な英語の指示で MS Paint 上に図形を描いたり、テキストを書き込んだり、色を操作したりできます。

特徴

• 自然言語による MS Paint の操作
• 図形（円、長方形、線）の自動描画
• 位置を指定したテキストの挿入
• 色の選択と管理
• ウィンドウ管理とキャンバスの位置調整
• 詳細なログ記録とエラー処理
• 位置のキャリブレーションシステム

前提条件

• Windows 10 以降
• Python 3.8+
• Microsoft Paint（mspaint.exe）
• Gemini AI 用の Google Cloud API キー

インストール

1. リポジトリをクローンします：

git clone [repository-url]
cd paint-drawing-agent

2. 必要な依存関係をインストールします：

pip install -r requirements.txt

3. プロジェクトのルートに .env ファイルを作成し、Google API キーを追加します：

GOOGLE_API_KEY=your_api_key_here

プロジェクト構成

paint-drawing-agent/
├── talk2mcp.py           # Main application file
├── tools/                # Core automation tools
│   ├── __init__.py
│   └── paint_commands.py # Paint automation commands
├── calibration_profiles/ # Stored calibration data
├── LLM_LOGS/            # AI interaction logs
├── logs/                # Application logs
└── requirements.txt     # Project dependencies

使い方

1. Paint 描画エージェントを起動します：

python talk2mcp.py

2. 次のような自然言語コマンドを入力します：

• "中央に赤い円を描く"
• "上部に黒で「Hello World」と書く"
• "右側に青い長方形を描く"

3. プログラムを終了するには、「quit」と入力します

コマンド例

> Draw a red circle in the center
> Write 'Hello World' in black at the top
> Draw a blue rectangle at coordinates 400,300
> Draw a green line from top to bottom

キャリブレーション

このシステムでは、キャリブレーションシステムを使用して Paint のインターフェイス要素を正確に特定します。再キャリブレーションするには：

1. キャリブレーションスクリプトを実行します：

python enhanced_calibrate.py

2. 画面の指示に従ってツールの位置をキャリブレーションします

ログ記録

このシステムでは、複数の種類のログを記録します：

• アプリケーションログ：/logs/paint_agent_[timestamp].log
• LLM の操作ログ：/LLM_LOGS/session_log.json
• キャリブレーションログ：/calibration_profiles/

エラー処理

このシステムには、次の問題に対する包括的なエラー処理が含まれています：

• ウィンドウ管理の問題
• 描画操作の失敗
• AI との通信エラー
• 位置のキャリブレーションの問題

貢献

1. リポジトリをフォークします
2. 機能ブランチを作成します
3. 変更をコミットします
4. ブランチにプッシュします
5. プルリクエストを作成します

トラブルシューティング

よくある問題と解決方法：

1. Paint のウィンドウが見つからない

   • MS Paint がインストールされていることを確認します
   • 先に Paint を手動で起動してみます

2. 描画位置に関する問題

   • キャリブレーションを再度実行します
   • 画面解像度がキャリブレーション時と一致していることを確認します

3. AI との通信エラー

   • .env ファイルの API キーを確認します
   • インターネット接続を確認します

ライセンス

[ライセンスをここに記載]

謝辞

• 自然言語処理を提供する Google Gemini AI
• GUI 自動化を提供する PyAutoGUI
• Windows との連携を提供する Win32GUI