Computer Use

computer-use-mcp

💻 Claude がコンピューターを操作するための Model Context Protocol サーバーです。computer useと非常によく似ていますが、ローカルで簡単にセットアップして使用できます。

Claude Haiku 4.5 がデスクトップの背景を変更している様子です（4 倍速）：

https://github.com/user-attachments/assets/cd0bc190-52c4-49db-b3bc-4b8a74544789

警告

執筆時点では、モデルは頻繁に間違いを犯し、プロンプトインジェクションに対して脆弱です。この MCP サーバーを使うとモデルがコンピューターを完全に制御できるため、大きな損害が生じるおそれがあります。そのため、これを多動な幼児にコンピューターを使わせるのと同じように扱ってください。常に目を離さずに監視し、サンドボックス化されたユーザーアカウントでのみ実行することを検討してください。

インストール

install-mcpの手順に従ってください。MCP クライアント（Claude Code、Claude Desktop、Cursor、Cline、VS Code など）に適した設定が生成されます。

ヒント

そのままですぐに動作するはずです。

ただし、最良の結果を得るには、次の点にご注意ください。

• コンピューター操作が得意なモデルを使用してください。最新の Claude モデルをおすすめします。
• 一般的な低解像度を使用してください。720p が特に適しています。macOS では、displayoverride-macを使って設定できます。別の解像度を使えない場合は、操作対象のウィンドウを拡大してみてください。
• Rango ブラウザー拡張機能をインストールして有効にしてください。これにより、ウェブサイトをキーボードで操作できるようになり、Claude が座標をクリックしようとするよりもはるかに確実です。Rango のフォントサイズ設定を大きくすると、ヒントが見やすくなります。

仕組み

Anthropic の公式 computer use ガイドとほぼ同一のコンピューター操作ツールを実装しています。キーボードショートカットを優先するよう、さらに調整を加えています。

nut.jsを使ってコンピューターと通信します。

コントリビューション

GitHub へのプルリクエストを歓迎します。始めるには：

1. Git と Node.js をインストールします
2. リポジトリをクローンします
3. npm installで依存関係をインストールします
4. テストを実行するには、npm run testを実行します
5. npm run buildでビルドします

リリース

バージョンにはセマンティックバージョニング仕様を使用しています。

リリースするには：

1. npm version <major | minor | patch>を使用してバージョンを上げます
2. git push --follow-tagsを実行してタグとともにプッシュします
3. GitHub Actions が NPM レジストリに公開するまで待ちます。