Auten について
Auten は、API のないアプリも含む実際のデスクトップアプリをエージェントが操作するための MCP サーバーです。ローカル runner が画面要素を読み取って操作し、完了したタスクはスキルとして保存して再実行できます。
主な機能
- 01アクセシビリティ情報による画面要素の読み取り
- 02クリック、入力、スクロール、ウィンドウ操作
- 03必要に応じた OCR とスクリーンショット
- 04タスクの再実行可能なスキル化
- 05パスワードを見せずに保存済みログイン情報を入力
- 06USB 接続の Android スマートフォン操作(ベータ)
活用シーン
- 01API のないアプリからレポートをエクスポート
- 02サプライヤーポータルから請求書をダウンロード
- 03メールの情報を使って CRM の記録を更新
- 04完了済みのデスクトップ作業を再実行
MCP 対応
ローカル runner は stdio または SSE 経由で、コンピューター操作ツールをクライアントに公開します。クライアントは auten mcp-bridge または npm launcher で接続でき、リモート SSE 接続では runner-only モードを利用できます。
設定
ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。
ツール
1掲載時のツール一覧 · 2 週間前に更新
このツールにパラメーターはありません。
詳細
Auten MCP サーバー
今お使いのAIエージェントに、コンピューター操作機能を。
Claude Code、Codex、Cursor、Gemini CLI、または任意のMCPクライアントを使って、APIのない実際のアプリでも、Mac、Windows、LinuxのコンピューターやAndroidスマートフォン(ベータ版)の画面をクリック、入力、読み取りできます。
ウェブサイト | 各クライアントのセットアップ | 料金 | [email protected]

イメージ:初回はAIが操作し、次回以降は記憶から再生します。
Autenが手となり、AIが頭脳となります。コンピューター上で動く小さなランナーが、クリック、入力、画面の読み取りを行います。エージェントはMCP(stdioまたはSSE)経由でランナーと通信します。Autenは独自のモデルを提供せず、AIのキーも必要ありません。エージェントは、すでに料金を支払っているプランを引き続き使用します。
単純なマウス・キーボード連携とは、次の点が異なります。
- ピクセルだけでなく、UIを読み取ります。 アクセシビリティツリーを利用するため、座標を推測する代わりに、番号付きの実際のボタンやフィールドの一覧(
list_elementsの後にclick_at(3))をエージェントに渡します。アプリにアクセシビリティ情報がない場合は、OCRと実際のスクリーンショットも利用できます。 - タスクを一度学習すると、AIなしで再生できます。 エージェントがタスクを完了すると、Autenはそれをスキルとして保存できます。次回はトークンを使わず数秒で再生し、アプリのレイアウトが変わっても自動で修正します。
- パスワードはお使いのコンピューター上に保管されます。
fill_loginは保存された秘密情報をエージェントに一切見せずにフィールドへ入力します。

イメージではなく実際のキャプチャです。初回はエージェントが実行(思考時間を含めて約14秒)し、その後は新しい値でrun_skillを実行(4.8秒、モデル呼び出しなし)します。ローカルのテストページ、1 fps、実行間にカットが1回あります。
エージェントに依頼できること
いつもお使いのクライアントで、普通の言葉で依頼できます。手順はエージェントが決め、クリックはAutenが行います。
- 「仕入先ポータルを開いて、今月の請求書をダウンロードし、~/Invoicesに入れてください。」
- 「CRMの新しい見込み客を確認して、メールから会社名が不足している項目を入力してください。」
- 「あのデスクトップアプリからレポートをCSVでエクスポートしてください。APIがないので、ファイルメニューを使ってください。」
- 「AndroidスマートフォンでInstagramを開き、最新のDMにこの文章で返信してください。」(スマートフォンはベータ版、USB経由)
- 「うまくいきました。
export-reportという名前のスキルとして保存してください。」次回は「export-reportを実行してください。」と依頼できます。AIなしで再生します。
クイックスタート
1. ランナーをインストールします(コマンド1つで完了します。macOS と Windows では管理者権限は不要です。Linux では、アクセシビリティツールと入力ツールを apt でインストールするため、初回のみ sudo を求められます)。
# macOS and Linux
curl -fsSL https://auten.ai/install | bash
# Windows (PowerShell)
irm https://auten.ai/install.ps1 | iex
初回起動時に、無料キーの接続を求められます(毎月30分利用でき、カードは不要です)。
2. Auten をエージェントに追加します。 Claude Code では、Auten が自動で設定できます。
auten connect
または、Claude Code CLI で追加し、/mcp で確認します。
claude mcp add -s user auten -- auten mcp-bridge
3. 普通の言葉で依頼します。 たとえば、「Figma を開いて、Hero フレームを PNG としてデスクトップにエクスポートして」 または、「メールにある未読の請求書を確認して、会計アプリに入力して」。 コンピューターやスマートフォン(ベータ版)でのタスクに使えるプロンプトについては、examples/prompts.md をご覧ください。
または npx で実行する
npm パッケージを起動できるクライアントなら、代わりにランチャーを使用できます。インストール済みの ランナーを起動し、Auten がまだインストールされていない場合は、エージェントに1行のインストールコマンドを通知します。 上部の「Add to Cursor」ボタンと「VS Code」ボタンは、このエントリーをそのまま追加します。
{
"mcpServers": {
"auten": { "command": "npx", "args": ["-y", "@autenai/mcp"] }
}
}
claude mcp add -s user auten -- npx -y @autenai/mcp
Windows でクライアントに spawn npx ENOENT と表示される場合、Windows では npx は npx.cmd であり、シェルを介さずにサーバーを起動するクライアントもあります。その場合は "command": "cmd", "args": ["/c", "npx", "-y", "@autenai/mcp"]
(Claude Code では claude mcp add -s user auten -- cmd /c npx -y @autenai/mcp)を使用するか、以下の auten mcp-bridge を直接指定してください。
または Claude Code プラグインとして使う
このリポジトリは、プラグインマーケットプレイスでもあります。Claude Code 内で次を実行します。
/plugin marketplace add auten-ai/auten-mcp
/plugin install auten@auten
このプラグインが追加するのは、同じ npx ランチャーエントリーのみです(フックやコマンドは追加されません)。plugin/README.md をご覧ください。
クライアントの設定
すべてのクライアントは、同じ stdio コマンド auten mcp-bridge(または npx -y @autenai/mcp)を起動します。アプリに
auten が見つからないと表示される場合は、which auten で確認したフルパス(通常は ~/.local/bin/auten)を使用してください。
OpenAI Codex
codex mcp add auten -- auten mcp-bridge
または ~/.codex/config.toml に追加します。
[mcp_servers.auten]
command = "auten"
args = ["mcp-bridge"]
Cursor
~/.cursor/mcp.json(またはプロジェクト内の .cursor/mcp.json):
{
"mcpServers": {
"auten": { "command": "auten", "args": ["mcp-bridge"] }
}
}
Gemini CLI
gemini mcp add --scope user auten auten mcp-bridge
または、同じ mcpServers エントリーを ~/.gemini/settings.json に追加します。
GitHub Copilot CLI
copilot mcp add auten -- auten mcp-bridge
または ~/.copilot/mcp-config.json に追加します。
{
"mcpServers": {
"auten": { "type": "local", "command": "auten", "args": ["mcp-bridge"], "tools": ["*"] }
}
}
セッション中に /mcp add を実行すると、同じフォームが開きます(タイプは STDIO、コマンドは auten mcp-bridge)。
Claude Desktop
「Settings」→「Developer」→「Edit Config」
(macOS では ~/Library/Application Support/Claude/claude_desktop_config.json、
Windows では %APPDATA%\Claude\claude_desktop_config.json):
{
"mcpServers": {
"auten": { "command": "auten", "args": ["mcp-bridge"] }
}
}
Claude Desktop を再起動します。
VS Code (GitHub Copilot agent mode)
MCP: Open User Configuration を実行して、次を追加します。
{
"servers": {
"auten": { "type": "stdio", "command": "auten", "args": ["mcp-bridge"] }
}
}
Windsurf
~/.codeium/windsurf/mcp_config.json:
{
"mcpServers": {
"auten": { "command": "auten", "args": ["mcp-bridge"] }
}
}
Zed
~/.config/zed/settings.json:
{
"context_servers": {
"auten": { "command": "auten", "args": ["mcp-bridge"] }
}
}
Cline
llms-install.md を使って Auten を設定するよう Cline に依頼するか、
MCP Servers の Configure(cline_mcp_settings.json)で自分で追加します。
{
"mcpServers": {
"auten": { "command": "auten", "args": ["mcp-bridge"] }
}
}
stdio の代わりにリモート(SSE)を使用する
ネットワーク経由で接続するクライアントの場合、操作対象のコンピューターでランナーをオンライン状態に保ちます。
auten --runner-only
次に、アカウントページから個人用 MCP URL を取得して使用します。この URL にはキーが含まれているため、他人に見られないようにしてください。
claude mcp add --transport sse auten <your-url>
エージェントをお持ちでない場合は、auten key add で独自のキー(Anthropic、OpenAI、Google、DeepSeek、または OpenAI 互換プロバイダーのキー)を auten CLI に登録してから、auten "open my calendar and tell me what is next" を実行してください。
ツール
| グループ | ツール |
|---|---|
| 画面を見る | list_elements、read_text、screenshot、screenshot_labeled、vision、screen_info |
| 操作する | click_at、click、fill、type、paste_text、press_keys、scroll、drag、move_mouse、act_on_matching、menu_select |
| アプリとウィンドウ | open_app、open_url、focus_window、browser_tabs、save_file、upload_file、clipboard_read |
| シークレット | list_logins、fill_login、get_profile |
| 学習済みスキル | list_skills、run_skill、skills、show_skill、start_recording、stop_recording、start_fixing、stop_fixing |
| 調整 | ask_user、focus_app、release、gui_status、wait、opened_items、browser_cleanup |
プラットフォーム
macOS(Apple Silicon および Intel)、Windows 10/11、Linux(X11)、および USB 接続の Android スマートフォン(ベータ版)。
Linux:インストーラーが「deps」の手順で止まりますか? アクセシビリティ(AT-SPI)と入力ツールのために、一度 sudo が必要です。
新規または最小構成の環境(apt リストが空、python3-venv がない環境)では、先にインストールしてから、インストーラーをもう一度実行してください。
sudo apt-get update
sudo apt-get install -y python3-venv python3-pyatspi python3-gi xdotool wmctrl scrot xclip libglib2.0-bin tesseract-ocr libsecret-tools
Auten は実際の X11 デスクトップセッションを操作するため、ディスプレイのないヘッドレスコンテナでは動作しません。 それでも解決しない場合は、最後の行をディスカッションに貼り付けてください。
料金
| プラン | 利用時間 | 料金 |
|---|---|---|
| Free | 毎月30分 | €0、カード不要 |
| Starter | 毎月10時間 | €9/月(早期アクセス) |
| Pro | 無制限 | €29/月(早期アクセス) |
AI はご自身で用意するため、料金は Auten のみを対象とします。詳細はauten.ai/pricingをご覧ください。
プライバシーと安全性
- ランナーは、MCP クライアントがツールを呼び出したときにのみ動作します。バックグラウンドで自動的に実行されることはありません。
- 保存されたパスワードはシステムのキーチェーン(macOS、Windows)またはプライベートなローカルボールト(Linux)に保管され、 当社のサーバーやモデルに送信されることはありません。画面に表示されたシークレットは、エージェントに表示される前にプレースホルダーに置き換えられます。
- 保存したログイン情報は、最初に使用したサイトまたはアプリに固定されます。それ以外のオリジンでは、
fill_loginは拒否して何も入力しません。再固定できるのはご自身のみです(auten vault unpin <name>)。 - アクティビティ履歴と学習済みスキルは、当社ではなく、ご自身のコンピューターに保存されます。 プライバシーポリシーをご覧ください。
このリポジトリについて
このリポジトリには、公開ドキュメント、クライアント設定、@autenai/mcp npm ランチャー
(bin/auten-mcp.js)が含まれており、すべて MIT LICENSE のもとで提供されています。ランナー自体は、
上記のインストーラーを通じて、Auten の利用規約に基づき別途配布されています。ご質問、バグ報告、機能リクエストは、
issueまたは [email protected] までお寄せください。
Auten はリトアニアの MB Icecode が開発しています。
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。
