🚀 Automation MCP

🤖 Automation MCP

Automation MCP は、macOS で AI モデルに 完全なデスクトップ自動化機能 を提供する Model Context Protocol（MCP）サーバーです。AI アシスタントは、次の操作を行えます。

• 🖱️ マウスを操作する（クリック、移動、スクロール、ドラッグ）
• ⌨️ キーボード入力を行い、送信する（システムショートカットを含む）
• 📸 スクリーンショットを撮影し、画面の内容を分析する
• 🪟 ウィンドウを管理する（フォーカス、移動、サイズ変更、最小化）
• 🎯 座標を指定して UI 要素を操作する
• 🎨 画面の色を分析し、領域をハイライトする
• 🔍 画像が画面に表示されるまで待機する

🚀 クイックスタート

furi がインストールされていることを確認し、次のコマンドを実行します。

furi add ashwwwin/automation-mcp

続いて、次を実行します。

furi start ashwwwin/automation-mcp

これで完了です！（または、コマンドラインを使わずに furi デスクトップアプリだけを使用できます。）

🥲 通常の起動（furi を使わない場合）

前提条件

• Bun ランタイム — 次のコマンドでインストールします：curl -fsSL https://bun.sh/install | bash

1. クローンとインストール

git clone https://github.com/ashwwwin/automation-mcp.git
cd automation-mcp
bun install

2. サーバーを起動する

# Start with HTTP transport (recommended for web apps)
bun run index.ts

# Or start with stdio transport (for command line tools)
bun run index.ts --stdio

3. アクセス許可を付与する

初回起動時に、macOS からアクセス許可を求められます。すべての機能を利用するには、これらのアクセス許可を付与する必要があります。

1. アクセシビリティ — キーボードとマウスの操作を許可します
2. 画面収録 — スクリーンショットの撮影と画面分析を有効にします

または、手動で次の場所から有効にします：システム設定 → プライバシーとセキュリティ → アクセシビリティ／画面収録

🛠️ 利用可能なツール

🖱️ マウス操作

• mouseClick - 座標を指定して、左／右／中央ボタンでクリックします
• mouseDoubleClick - 座標を指定してダブルクリックします
• mouseMove - カーソルを指定した位置に移動します
• mouseGetPosition - 現在のカーソル位置を取得します
• mouseScroll - 任意の方向にスクロールします
• mouseDrag - 現在の位置から指定した位置までドラッグします
• mouseButtonControl - マウスボタンを押す／離す操作を行います
• mouseMovePath - 複数のポイントを通る滑らかな経路に沿って移動します

⌨️ キーボード入力

• type - テキストを入力するか、キーの組み合わせを押します
• keyControl - 高度なキーの押下／解放操作を行います
• systemCommand - よく使うショートカット（コピー、貼り付け、元に戻す、保存など）

📸 画面キャプチャと分析

• screenshot - 画面全体、領域、または特定のウィンドウをキャプチャします
• screenInfo - 画面のサイズを取得します
• screenHighlight - 画面上の領域を視覚的にハイライトします
• colorAt - 任意のピクセルの色を取得します
• waitForImage - 画像が表示されるまで待機します（テンプレートマッチング）

🪟 ウィンドウ管理

• getWindows - 開いているすべてのウィンドウを一覧表示します
• getActiveWindow - 現在アクティブなウィンドウを取得します
• windowControl - ウィンドウのフォーカス、移動、サイズ変更、最小化を行います

🔒 セキュリティとアクセス許可

1. アクセシビリティ — 次の操作に必要です。

   • マウスのクリックと移動
   • キーボード入力のシミュレーション
   • ウィンドウ管理

2. 画面収録 — 次の操作に必要です。

   • スクリーンショットの撮影
   • 画面分析
   • 色の検出

🚀 統合例

Claude Desktop + furi の場合

Claude Desktop で furi の設定がすでに済んでいる場合は、何もする必要はありません。

MCP 設定に追加します。

{
  "mcpServers": {
    "furi": {
      "command": "furi",
      "args": ["connect"]
    }
  }
}

Claude Desktop の場合

MCP 設定に追加します。

{
  "mcpServers": {
    "automation": {
      "command": "bun",
      "args": ["run", "/path/to/automation-mcp/index.ts", "--stdio"]
    }
  }
}

🐛 トラブルシューティング

よくある問題

アクセス許可が拒否されるエラー

• アクセシビリティと画面収録のアクセス許可が付与されていることを確認してください
• Xcode Command Line Tools がインストールされていることを確認してください：xcode-select --install

🙋‍♂️ サポート

問題が発生した場合は、上記のトラブルシューティングのセクションを確認するか、次の情報を添えて issue を作成してください。

• オペレーティングシステムとバージョン
• エラーメッセージ
• 再現手順