ScreenPilot

ScreenPilot

LLM が GUI を操作して対話できるよう、画面自動化ツールキットを提供し、デバイスを完全に制御できるようにする MCP サーバーです。自動化、学習、そして楽しみに最適です。

主な機能

• 📷 画面のキャプチャと分析
• 🖱️ マウス操作（クリック、位置指定）
• ⌨️ キーボード入力（文字入力、キー押下、ホットキー）

デモを見る

https://github.com/user-attachments/assets/c18380c0-b3dd-4b7c-925d-28ef205ca11f

インストール

0. python 3.12 をインストールします
1. リポジトリをクローンします：

   git clone https://github.com/Mtehabsim/ScreenPilot.git
   

2. 仮想環境を作成します

python -m venv venv

3. 仮想環境を有効化します

venv\Scripts\activate

4. 必要なパッケージをインストールします：

   pip install -r requirements.txt
   

5. Claude AI デスクトップを開きます
6. ファイル -> 設定 -> 開発者 -> 設定を編集
7. 設定ファイルを開き、以下を貼り付けます

{
    "mcpServers": {
        "device-controll": {
            "command": "pathToEnv\\venv\\Scripts\\python.exe",
            "args": [
                "pathToProject\\ScreenPilot\\main.py"
            ]
        }
    }
}

8. 次の値を置き換えます     "pathToEnv\venv\Scripts\python.exe" → お使いの python.exe の完全なパスに置き換えます     "pathToProject\ScreenPilot\main.py" → お使いの main.py ファイルの完全なパスに置き換えます

9. 設定ファイルを保存します。

10. Claude AI Desktop を開きます。

11. ファイル → 終了を選択します

12. これで Claude AI Desktop を開き、ScreenPilot を使用できます。

利用可能なツール

• 画面キャプチャ：スクリーンショットを撮影し、画面情報を取得します
• マウス操作：マウスを動かし、クリックを実行します
• キーボード操作：テキストを入力し、キーを押し、ホットキーの組み合わせを使用します
• スクロール：さまざまな方向や指定した位置にスクロールします
• 要素検出：画面上に要素が存在するか確認し、表示されるまで待機します
• アクションの連続実行：複数のアクションを順番に実行します

コントリビューション

コントリビューションを歓迎します！お気軽にプルリクエストを送信してください。