omniparser-autogui-mcp

omniparser-autogui-mcp

（日本語版はこちら）

これは、OmniParserで画面を分析し、GUIを自動操作するMCP サーバーです。
Windowsでの動作を確認しています。

ライセンスに関する注意事項

このプロジェクトはMITライセンスですが、サブモジュールとサブパッケージは対象外です。
OmniParserのリポジトリはCC-BY-4.0です。
各OmniParserモデルのライセンスは異なります（参考）。

インストール

1. 以下を実行してください。

git clone --recursive https://github.com/NON906/omniparser-autogui-mcp.git
cd omniparser-autogui-mcp
uv sync
set OCR_LANG=en
uv run download_models.py

（Windows以外では、setの代わりにexportを使用してください。）
（langchain_example.pyを動作させる場合は、代わりにuv sync --extra langchainを実行してください。）

2. claude_desktop_config.jsonに以下を追加してください。

{
  "mcpServers": {
    "omniparser_autogui_mcp": {
      "command": "uv",
      "args": [
        "--directory",
        "D:\\CLONED_PATH\\omniparser-autogui-mcp",
        "run",
        "omniparser-autogui-mcp"
      ],
      "env": {
        "PYTHONIOENCODING": "utf-8",
        "OCR_LANG": "en"
      }
    }
  }
}

（D:\\CLONED_PATH\\omniparser-autogui-mcpを、クローンしたディレクトリに置き換えてください。）

envでは、以下の追加設定ができます。

• OMNI_PARSER_BACKEND_LOAD
  LibreChatなどの他のクライアントで動作しない場合は、1を指定してください。

• TARGET_WINDOW_NAME
  操作するウィンドウを指定する場合は、ウィンドウ名を指定してください。
  指定しない場合は、画面全体を操作します。

• OMNI_PARSER_SERVER
  OmniParserの処理を別のデバイスで実行する場合は、127.0.0.1:8000のようにサーバーのアドレスとポートを指定してください。
  サーバーはuv run omniparserserverで起動できます。

• SSE_HOST、SSE_PORT
  指定すると、stdioではなくSSE経由で通信します。

• SOM_MODEL_PATH、CAPTION_MODEL_NAME、CAPTION_MODEL_PATH、OMNI_PARSER_DEVICE、BOX_TRESHOLD
  OmniParserの設定に使用します。
  通常は設定する必要はありません。

使用例

• 画面上のブラウザーで「MCP server」を検索します。

など。