Desktop Automation

MCP デスクトップ自動化

RobotJS とスクリーンショット機能を使用して、デスクトップ自動化機能を提供する Model Context Protocol サーバーです。このサーバーを使用すると、LLM がデスクトップ環境でのマウス操作やキーボード入力を制御し、スクリーンショットを撮影できます。

デスクトップ自動化サーバーの設定方法

Claude Desktop で MCP デスクトップ自動化サーバーを使用するための設定方法は次のとおりです。

NPX

{
  "mcpServers": {
    "desktop-automation": {
      "command": "npx",
      "args": ["-y", "mcp-desktop-automation"]
    }
  }
}

アクセス許可

このサーバーを使用するには、システムレベルで次のアクセス許可が必要です。

• 画面のスクリーンショットを撮影する
• マウスの移動とクリックを制御する
• キーボード入力をシミュレートする

このサーバーを使用して Claude Desktop を初めて実行する際は、オペレーティングシステムのセキュリティ設定でこれらのアクセス許可を付与する必要がある場合があります。

制限事項

このサーバーはさまざまな MCP クライアントで動作しますが、主に Claude Desktop でテストされています。

重要：現在の実装では、レスポンスサイズの上限は 1MB です。画面のキャプチャについては、次の点にご注意ください。

• 高解像度のスクリーンショットはこの上限を超えて、失敗する場合があります
• テストでは、800x600 の解像度で安定して動作することが確認されています
• 問題が発生した場合は、画面の解像度を下げるか、画面の特定の範囲をキャプチャすることをご検討ください

要件

• Node.js (>=14.x)

コンポーネント

ツール

• get_screen_size

  • 画面のサイズを取得します
  • 入力パラメーターは不要です

• screen_capture

  • 現在の画面の内容をキャプチャします
  • 入力パラメーターは不要です

• keyboard_press

  • キーまたはキーの組み合わせを押します
  • 入力：
    • key (string, required)：押すキー（例：'enter'、'a'、'control'）
    • modifiers (array of strings, optional)：キーを押すときに押し続ける修飾キー。使用可能な値：「control」、「shift」、「alt」、「command」

• keyboard_type

  • 現在のカーソル位置にテキストを入力します
  • 入力：text (string, required)：入力するテキスト

• mouse_click

  • マウスをクリックします
  • 入力：
    • button (string, optional, default: "left")：クリックするマウスボタン。使用可能な値：「left」、「right」、「middle」
    • double (boolean, optional, default: false)：ダブルクリックするかどうか

• mouse_move

  • マウスを指定した座標に移動します
  • 入力：
    • x (number, required)：X 座標
    • y (number, required)：Y 座標

リソース

サーバーはスクリーンショットにアクセスできます。

1. スクリーンショット一覧 (screenshot://list)

   • 名前で利用可能なすべてのスクリーンショットを一覧表示します

2. スクリーンショットの内容 (screenshot://{id})

   • キャプチャしたスクリーンショットの PNG 画像です
   • スクリーンショット ID（タイムスタンプに基づく名前）を使用してアクセスできます

主な機能

• デスクトップのマウス操作
• キーボード入力のシミュレーション
• 画面サイズの検出
• スクリーンショット機能
• シンプルな JSON レスポンス形式

ライセンス

この MCP サーバーは MIT ライセンスの下でライセンスされています。MIT ライセンスの利用規約に従うことを条件に、ソフトウェアを自由に使用、変更、配布できます。詳しくは、プロジェクトリポジトリの LICENSE ファイルをご覧ください。