PyMCPAutoGUI 🖱️⌨️🖼️ - GUI Automation via MCP

PyMCPAutoGUI 🖱️⌨️🖼️ - MCP による GUI オートメーション

AI エージェントの能力を大幅に強化しましょう！ ✨ PyMCPAutoGUI は、AI エージェント（Cursor など、MCP 互換環境のエージェント）とコンピューターのグラフィカルユーザーインターフェイス（GUI）をつなぎます。エージェントは画面を見て 👁️、マウス 🖱️ とキーボード ⌨️ を操作し、ウィンドウ 🪟 を人間のユーザーと同じように扱えるようになります！

面倒な GUI 操作を手作業で行うのはやめて、作業を AI に任せましょう 💪。繰り返しの操作の自動化、GUI のテスト、強力な AI アシスタント 🤖 の構築に最適です。

🤔 PyMCPAutoGUI を選ぶ理由

• 🤖 エージェントの能力を強化： AI エージェントがデスクトップアプリケーションを直接操作できるようになります。
• ✅ 簡単に統合： Cursor エディターなどの MCP 互換クライアントでシームレスに動作します。プラグアンドプレイです！
• 🚀 簡単に使えます： 簡単なサーバーコマンドですぐに使い始められます。本当に、とても 簡単です。
• 🖱️⌨️ 包括的な操作： 実績のある PyAutoGUI と PyGetWindow による、幅広い GUI オートメーション機能を利用できます。
• 🖼️ 画面認識： スクリーンショットの撮影や、画面上の画像の検索に使えるツールを備えています。エージェントが画面を見られるようになります！
• 🪟 ウィンドウ管理： ウィンドウの位置、サイズ、状態（最小化、最大化）などを操作できます。デスクトップを整理しましょう！
• 💬 ユーザーとの対話： アラート、確認、プロンプトの各ボックスを表示して、ユーザーとやり取りできます。

🛠️ 対応環境

• オペレーティングシステム： Windows、macOS、Linux（各 OS で pyautogui を使用するには、適切な依存関係が必要です）
• Python： 3.11 以降 🐍
• MCP クライアント： Cursor Editor、または Model Context Protocol (MCP) に対応するクライアント

🚀 はじめに - とても簡単です！

1. インストール（推奨：仮想環境を使用してください！）

仮想環境を使うと、プロジェクトの依存関係を整理できます。

# Create and activate a virtual environment (example using venv)
python -m venv .venv
# Windows PowerShell
.venv\Scripts\Activate.ps1
# macOS / Linux bash
source .venv/bin/activate

# Install using pip (from PyPI or local source)
# Make sure your virtual environment is active!
pip install pymcpautogui # Or pip install . if installing from local source

（注：Linux でスクリーンショットを撮影する場合など、pyautogui に scrot のようなシステム依存関係が必要になることがあります。OS ごとのインストール要件については、pyautogui のドキュメントを確認してください。）

2. MCP サーバーの起動

インストールが完了したら、ターミナルからサーバーを実行するだけです。

# Make sure your virtual environment is activated!
python -m pymcpautogui.server

サーバーが起動し、接続を待ち受けます（デフォルトのポートは 6789 です）。次の出力を確認してください。

INFO:     Started server process [XXXXX]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://127.0.0.1:6789 (Press CTRL+C to quit)

GUI オートメーションの力が必要な間は、このターミナルを起動したままにしてください！ ✨

✨ Cursor Editor とのシームレスな連携

PyMCPAutoGUI を Cursor（@ 記号）に接続して、コーディングのワークフロー内で GUI を直接自動化できます。

1. MCP 設定を開く： Cursor でコマンドパレット（Ctrl+Shift+P または Cmd+Shift+P）を開き、「MCP: Open mcp.json configuration file」を検索します。

2. PyMCPAutoGUI の設定を追加： この設定を mcp.json に追加するか、既存の設定とマージします。必要に応じてパスを調整してください（特に Cursor をプロジェクトのルートから起動していない場合）。

   {
       "mcpServers": {
           // ... other MCP server configs if any ...
           "PyMCPAutoGUI": {
               // Sets the working directory. ${workspaceFolder} is usually correct.
               "cwd": "${workspaceFolder}",
   
               // Command to run Python. 'python' works if the venv is active in the terminal
               // where Cursor was launched, or specify the full path.
               "command": "python", // Or ".venv/Scripts/python.exe" (Win) or ".venv/bin/python" (Mac/Linux)
   
               // Arguments to start the server module.
               "args": ["-m", "pymcpautogui.server"]
           }
           // ... other MCP server configs if any ...
       }
   }
   

   （ヒント：mcp.json がすでにある場合は、mcpServers オブジェクト内に "PyMCPAutoGUI": { ... } の部分を追加するだけです。）

3. mcp.json を保存します。 Cursor がサーバーを検出します。

4. 自動化しましょう！ Cursor のチャットで @PyMCPAutoGUI を使用します。

   例： @PyMCPAutoGUI move_to(x=100, y=200) @PyMCPAutoGUI write(text='Automating with AI! 🎉', interval=0.1) @PyMCPAutoGUI screenshot(filename='current_screen.png') @PyMCPAutoGUI activate_window(title='Notepad')

🧰 利用可能なツール

PyMCPAutoGUI は pyautogui と pygetwindow のほとんどの関数を公開します。例：

• マウス 🖱️： move_to、click、move_rel、drag_to、drag_rel、scroll、mouse_down、mouse_up、get_position
• キーボード ⌨️： write、press、key_down、key_up、hotkey
• スクリーンショット 🖼️： screenshot、locate_on_screen、locate_center_on_screen
• ウィンドウ 🪟： get_all_titles、get_windows_with_title、get_active_window、activate_window、minimize_window、maximize_window、restore_window、move_window、resize_window、close_window
• ダイアログ 💬： alert、confirm、prompt、password
• 設定 ⚙️： set_pause、set_failsafe

全ツールの一覧と詳細については、pymcpautogui/server.py ファイルを確認するか、MCP クライアントで @PyMCPAutoGUI list_tools を使用してください。

📄 ライセンス

このプロジェクトは MIT License の下でライセンスされています。詳細は LICENSE ファイルをご覧ください。自動化をお楽しみください！😄