Native DevTools

native-devtools-mcp

macOS、Windows、Android、Chrome/Electron でネイティブデスクトップアプリやモバイルアプリを操作するための MCP サーバーです。

ワンクリックでクライアントに追加できます：

Claude Code: claude mcp add native-devtools -- npx -y native-devtools-mcp

native-devtools-mcp を使うと、AI エージェントや MCP クライアントから、ネイティブデスクトップアプリ、Chrome/Electron ブラウザー、Android デバイスを直接操作できます。スクリーンショット、OCR、アクセシビリティを優先した要素検索、入力シミュレーション、ウィンドウ管理、Chrome DevTools Protocol（CDP）、ADB を、1 つのローカルサーバーで利用できます。Claude Desktop、Claude Code、Cursor など、MCP 対応クライアントで動作します。

クイックスタート

npx -y native-devtools-mcp

macOS	Windows

🚀 機能

• 👀 コンピュータービジョン： 画面、ウィンドウ、領域のスクリーンショットを撮影でき、OCR を内蔵しています（macOS では Vision、Windows では Windows Media OCR を使用）。
• 🖱️ 入力シミュレーション： クリック、ドラッグ、スクロール、入力ができます。グローバル座標、ウィンドウ相対、スクリーンショット相対で対象を指定できます。
• 🎯 要素単位の高精度な AX ディスパッチ（macOS）： take_ax_snapshot → ax_click / ax_set_value / ax_select を使い、マウスを動かしたりフォーカスを奪ったりせずに、アクセシビリティツリーの要素に対して操作を実行できます。ネイティブ macOS アプリで推奨される方法です。
• 🌐 ブラウザー自動化（CDP）： Chrome DevTools Protocol を使って、Chrome および Electron アプリ（Signal、Discord、VS Code、Slack）を操作できます。別途 Node.js サーバーを用意せずに、DOM レベルでクリック、入力、移動、JavaScript の評価ができます。
• 📱 Android（ADB）： USB または Wi-Fi 経由で、スクリーンショット、uiautomator によるテキスト検索、入力、アプリ管理ができます。
• 🧩 テンプレートマッチング： load_image + find_image を使って、OCR では識別できないアイコン、トグル、カスタムコントロールを検出できます。
• 🪟 ウィンドウ管理： アプリの一覧表示、フォーカス、起動、終了ができます。タイムスタンプ付き JPEG フレームとしてウィンドウを記録できます。
• 🔍 ホバー追跡： 滞留時間でフィルタリングしたホバーイベントを使って、ユーザーの操作パターンを観察できます。ユーザーの作業を見守る LLM 向けに設計されています。
• 🔒 ローカルでプライベート： 実行は 100% ローカルです。スクリーンショットや入力がマシンの外に送信されることはありません。

🧭 3 つの操作方法

対象のアプリに合った方法を選んでください。

macOS のネイティブアプリでは、AX Dispatch が推奨される方法です。要素を正確に指定でき、マウスを動かさず、フォーカスも奪いません。ネイティブアプリの AX Dispatch レシピを参照してください。

さらに、ニッチな方法として AppDebugKit（app_connect／app_query／app_click）があります。AppDebugKit ライブラリを組み込んだアプリで使用できます。主に、自分で開発したアプリをテストする開発者に役立ちます。

🆚 比較

最も直接的な比較対象は、コンピューター操作向けの MCP サーバーです。この表では、native-devtools-mcp を主要な MCP サーバーと、広く使われている MCP 非対応のライブラリ 2 つと比較しています。

native-devtools-mcp の特長： 1 つのローカル MCP サーバーで、同じセッション内から macOS + Windows + Chrome／Electron（CDP）+ Android を操作できます。さらに、カーソルを動かしたりフォーカスを奪ったりせず、要素を正確に指定して macOS AX にイベントを送信できます。

制限事項：

• Linux には非対応です（コントリビューションを歓迎します。代替手段として、AT-SPI2 ベースの Linux Desktop MCP をご覧ください）
• ブラウザー自動化は CDP 経由の Chrome／Electron のみです。Firefox と WebKit には対応していません（それらを使う場合は Playwright MCP をご利用ください）
• GUI 表示が必要です。実機の権限に依存するため、ヘッドレスの CI テストグリッドには対応していません
• iOS には非対応です

Web の自動化だけが必要な場合は、Playwright MCP のほうが成熟しています。モバイル（iOS + Android + 高度なデバイス機能）だけが必要な場合は、Appium のほうが成熟しています。このサーバーは、ネイティブデスクトップ + Chrome／Electron + Android を横断して操作するケース向けです。

📦 インストール

インストール手順は macOS と Windows で同じです。

オプション 1：npx で実行（インストール不要）

npx -y native-devtools-mcp

オプション 2：グローバルインストール

npm install -g native-devtools-mcp

オプション 3：ソースからビルド（Rust）

curl -fsSL https://raw.githubusercontent.com/vectora-foundry/native-devtools-mcp/master/scripts/build-from-source.sh | bash

git clone https://github.com/vectora-foundry/native-devtools-mcp
cd native-devtools-mcp
cargo build --release
# Binary: ./target/release/native-devtools-mcp

手動で設定する（セットアップウィザードを使わない場合）

{
  "mcpServers": {
    "native-devtools": {
      "command": "/Applications/NativeDevtools.app/Contents/MacOS/native-devtools-mcp"
    }
  }
}

{
  "mcpServers": {
    "native-devtools": {
      "command": "npx",
      "args": ["-y", "native-devtools-mcp"]
    }
  }
}

macOS の権限： サーバーにはアクセシビリティと画面収録の権限が必要です。セットアップウィザードが適切な「システム設定」の画面を開きます。両方の権限がない場合、クリックは通知なく失敗し、スクリーンショットは黒い四角形になります。

Linux はまだサポートされていません。 このサーバーは、Linux には存在しないプラットフォーム固有の API（macOS の Core Graphics + Accessibility、Windows の Win32 + UI Automation）を使用しています。コントリビューションを歓迎します。X11／Wayland のスクリーンショット、入力、AT-SPI の各経路は、最初の取り組みとして適しています。

🏁 はじめに

インストール後、セットアップウィザードを実行します。

npx native-devtools-mcp setup

次の処理が行われます。

1. 権限を確認する（macOS） — アクセシビリティと画面収録を確認し、必要に応じてシステム設定を開きます。
2. MCP クライアントを検出する — Claude Desktop、Claude Code、Cursor を検出します。
3. 設定を書き込む — 適切な JSON 設定を生成し、書き込みを提案します。

その後、MCP クライアントを再起動すれば、準備完了です。

macOS の Claude Desktop では、署名済みのアプリバンドルが必要です（Gatekeeper は npx をブロックします）。GitHub Releases から NativeDevtools-X.X.X.dmg をダウンロードして /Applications にドラッグし、セットアップを実行してください。アプリが検出され、Claude Desktop がアプリを使用するよう設定されます。

VS Code、Windsurf、その他のクライアント： setup ではまだ自動検出されません。権限を確認するために setup を実行してから、上記の手動設定にある JSON 設定スニペットを参照してください。

Claude Code のヒント： ツール呼び出し（クリック、スクリーンショット）のたびに承認するのを避けるには、.claude/settings.local.json に次の設定を追加してください。

{ "permissions": { "allow": ["mcp__native-devtools__*"] } }

⚠️ 操作時の安全に関する注意

• 操作中は手を触れないでください： エージェントが「操作中」（クリック／入力中）のときは、マウスを動かしたり入力したりしないでください。実際のハードウェア入力とシミュレートされた入力が競合し、クリック位置がずれることがあります。
• フォーカスが重要です： エージェントに操作させたいウィンドウが表示されていることを確認してください。操作中にポップアップがフォーカスを奪うと、エージェントが先に確認しない限り、別のウィンドウに入力してしまう可能性があります。
• macOS では AX Dispatch を優先してください。 マシンを使い続けたい場合に適しています。AX 呼び出しではカーソルが移動せず、アクティブなウィンドウからフォーカスを奪うこともありません。

📚 レシピと使用例

• レシピ一覧
• Claude Desktop のセットアップ · Claude Code のセットアップ · Cursor のセットアップ
• デスクトップのエンドツーエンドのワークフロー
• ネイティブアプリの AX Dispatch ワークフロー（macOS） — macOS のネイティブアプリではこちらを推奨
• ネイティブアプリのクリックワークフロー
• OCR フォールバックと要素の検査
• テンプレートマッチングのワークフロー
• Android クイックスタート

🌐 ブラウザー自動化（CDP）

Chrome DevTools Protocol を介して Chrome または Electron アプリに接続し、DOM レベルで自動化できます。Web コンテンツでは、座標ベースのクリックよりも信頼性が高くなります。

# Launch Chrome with remote debugging
launch_app(app_name="Google Chrome", args=["--remote-debugging-port=9222", "--user-data-dir=/tmp/chrome-profile"])

# Connect and automate
cdp_connect(port=9222)
cdp_navigate(url="https://example.com")
cdp_find_elements(query="search")    # DOM walker with element UIDs (d1, d2, ...)
cdp_fill(uid="d1", value="search query")
cdp_press_key(key="Enter")
cdp_wait_for(text=["Results"])

21 個の CDP ツール — ページの概要、DOM スナップショット、要素の検索、要素のコンテキスト、クリック、ホバー、入力欄への入力、テキスト入力、キーの押下、ナビゲーション、ダイアログの処理、タブの管理、テキストやページの変更の待機、JS の評価、要素の検査など。CDP ツールは常に一覧に表示されますが、cdp_connect が成功するまでは「No CDP connection」エラーを返します。Chrome 136 以降、Chromium、Electron アプリ（Signal、Discord、VS Code、Slack）で動作します。ツールの全リファレンスは AGENTS.md を参照してください。

Chrome 136 以降に関する注意： --remote-debugging-port とともに --user-data-dir=<path> が必要です。デフォルトのプロファイルでは、Chrome はデバッグポートを通知なく無視します。Electron アプリでは --remote-debugging-port のみが必要です。

📱 Android のサポート

Android のサポートは組み込みです。サーバーは ADB 経由（USB または Wi-Fi）で Android デバイスと通信し、スクリーンショット、入力のシミュレーション、UI 要素の検索、アプリ管理を提供します。

前提条件

1. ホストに ADB がインストールされていること（macOS では brew install android-platform-tools、または Android SDK 経由でインストールします）。
2. デバイスで USB デバッグが有効になっていること（設定 > 開発者向けオプション > USB デバッグ）。
3. ADB サーバーが実行中であること — adb devices を実行すると自動的に起動します。

ツール

すべての Android ツールには android_ というプレフィックスが付いています。android_list_devices と android_connect は常に利用可能です。それ以外のツールは、デバイスへの接続後に動的に表示されます。

一般的なワークフロー

android_list_devices           → find your device serial
android_connect(serial="...")  → connect (unlocks android_* tools)
android_screenshot             → see what's on screen
android_find_text(text="OK")   → locate a button
android_click(x=..., y=...)    → tap it

adb tcpip 5555
adb connect <phone-ip>:5555

cargo test --test android_smoke_tests -- --ignored --test-threads=1

🔐 セキュリティと信頼性

このツールにはアクセシビリティと画面収録の権限が必要です。つまり、大きな信頼を求めることになります。このツールを信頼できるかどうかを確認する方法をご紹介します。

バイナリを検証する

native-devtools-mcp verify

実行中のバイナリの SHA-256 ハッシュを計算し、GitHub Releases ページで公開されている公式チェックサムと照合します。ハッシュが一致すれば、未改変の公式ビルドを実行しています。

コードを監査する

SECURITY_AUDIT.md には、使用する権限とソースコード内での使用箇所が詳しく記載されています。また、独立したセキュリティレビューを依頼するために、任意の AI モデルに貼り付けられる LLM 監査プロンプトも含まれています。

このサーバーが行わないこと

• **要求されていないネットワークアクセスは行いません。**サーバーが外部に通信することはありません。ネットワークを使用するのは、MCP クライアントが明示的に app_connect を呼び出したとき（ローカルのデバッグサーバーへの WebSocket 接続）か、verify サブコマンドを実行したとき（GitHub からチェックサムを取得）のみです。
• **ファイルのスキャンは行いません。**ファイルの読み取りやインデックス作成は行いません。ファイルを読み取るのは、load_image（MCP クライアントが明示的に指定したパス）と、スクリーンショット用の短時間だけ使われる一時ファイル（キャプチャ直後に削除）のみです。
• **バックグラウンドでの常駐は行いません。**MCP クライアントが切断されると終了します。
• **データの外部送信は行いません。**スクリーンショットは標準出力経由で MCP クライアントに返され、保存も他の場所への送信も行われません。

❓ よくある質問

Linux で動作しますか？ まだ対応していません。macOS、Windows、Android のみです。サーバーは macOS では Core Graphics と Accessibility API、Windows では Win32 と UI Automation を使用します。X11／Wayland と AT-SPI への移植は歓迎される貢献です。

API キーは必要ですか？ いいえ。サーバーは完全にローカルで動作し、外部への API 呼び出しは行いません。MCP クライアントでは独自の LLM API キー（Anthropic、OpenAI など）が必要になる場合がありますが、サーバー自体には必要ありません。

Claude Computer Use とは何が違いますか？ Claude Computer Use はAnthropic API のベータ版ツールで、ベータヘッダーを使用し、Anthropic API キーが必要です。Claude Opus、Sonnet、Haiku で動作します。スクリーンショットと座標ベースのマウス／キーボード操作を使用します。native-devtools-mcp はモデルに依存せず（MCP を話すものなら何でも使用可能）、API に依存せず 100% ローカルで動作し、macOS AX による要素単位の正確なディスパッチ、Chrome DevTools Protocol、ADB 経由の Android 対応を追加します。

ローカルモデル（Ollama、LM Studio など）で動作しますか？ はい。クライアントが MCP を話せば動作します。MCP 互換のクライアントならどれでも接続できます。MCP 非対応のクライアントは、ブリッジを介してサーバーをラップできます。

無料／オープンソースですか？ はい。MIT ライセンスです。LICENSE をご覧ください。

操作内容は記録されますか？ いいえ。明示的に start_recording を呼び出した場合を除き、記録されることはありません。この場合、指定したディレクトリに記録され、stop_recording で停止します。同様に、ホバー追跡が実行されるのは start_hover_tracking が有効な間だけです。それ以外の場合、記録や送信は一切行われません。

Playwright や Playwright MCP と比べてどうですか？ 純粋なウェブ自動化には、Chromium、Firefox、WebKit に対応し、_electron.launch() による Electron のファーストクラス対応と、実験的な Android 自動化も備えた成熟した選択肢である Playwright が適しています。Playwright MCP は、AI エージェント向けの MCP サーバーとして Playwright をラップします。ウェブ／Electron の自動化だけが必要なら、Playwright MCP をお使いください。native-devtools-mcp は Chrome／Electron に加え、ネイティブ macOS／Windows アプリと Android デバイスにも対応する、単一のローカル MCP サーバーです。Playwright MCP はこれらに対応していません。

🏗️ アーキテクチャ

graph TD
    Client[Claude / LLM Client] <-->|JSON-RPC 2.0| Server[native-devtools-mcp]
    Server -->|Direct API| Sys[System APIs]
    Server -->|CDP / WebSocket| Chrome[Chrome / Electron]
    Server -->|WebSocket| Debug[AppDebugKit]
    Server -->|ADB Protocol| Android[Android Device]

    subgraph "Your Machine"
        Sys -->|Screen/OCR| macOS[CoreGraphics / Vision]
        Sys -->|Input| Win[Win32 / SendInput]
        Sys -->|Text Search| UIA[UI Automation]
        Sys -->|AX Snapshot + Dispatch| AXapi[Accessibility API - macOS]
        Chrome -.->|DOM-level| ChromeApp[Web Page / Electron UI]
        Debug -.->|Inspect| App[Instrumented App]
    end

    subgraph "Android Device (USB/Wi-Fi)"
        Android -->|screencap| Screen[Screenshots]
        Android -->|input| Input[Tap / Swipe / Type]
        Android -->|uiautomator| UITree[UI Hierarchy]
    end

screen_x = screenshot_origin_x + (pixel_x / screenshot_scale)
screen_y = screenshot_origin_y + (pixel_y / screenshot_scale)

🪟 Windows に関する注意事項

Windows 10/11 では、追加設定なしですぐに動作します。

• 標準の Win32 API（GDI、SendInput）を使用します。
• find_text は、要素名を取得するためにアクセシビリティツリーを照会する UI Automation（UIA） を主な検索手段として使用します。これは macOS で採用されている、アクセシビリティを優先する方法と同じです。UIA で一致するものが見つからない場合は、自動的に OCR にフォールバックします。
• OCR には、Windows に組み込まれている Media OCR エンジン（オフライン）を使用します。
• MCP サーバー自体も管理者として実行されていない限り、「管理者として実行」したウィンドウとは対話できません。
• 画面録画では、設定可能な FPS（デフォルトは 5）で GDI/BitBlt を使用します。より高い FPS やゲーム画面のキャプチャには、ハードウェアアクセラレーションによるキャプチャが可能な DXGI Desktop Duplication API が適しています。これは今後のアップグレードとして予定されています。

🤖 AI エージェント向け

エージェントを対象とした使い方（意図の定義、スキーマの例、推論パターン）は、AGENTS.md に記載されています。LLM（Claude、Gemini、GPT、ローカルモデル）に取り込ませるために設計された、コンパクトでトークン効率の高いリファレンスです。この README を読んでサーバーを使うかどうか判断している AI エージェントは、次にそちらをご覧ください。

⭐ スター履歴

📜 ライセンス

MIT © sh3ll3x3c