mcpField
A
Auten

Auten

ローカル
auten.ai生産性02 週間前に更新

Auten について

Auten は、API のないアプリも含む実際のデスクトップアプリをエージェントが操作するための MCP サーバーです。ローカル runner が画面要素を読み取って操作し、完了したタスクはスキルとして保存して再実行できます。

主な機能

  1. 01アクセシビリティ情報による画面要素の読み取り
  2. 02クリック、入力、スクロール、ウィンドウ操作
  3. 03必要に応じた OCR とスクリーンショット
  4. 04タスクの再実行可能なスキル化
  5. 05パスワードを見せずに保存済みログイン情報を入力
  6. 06USB 接続の Android スマートフォン操作(ベータ)

活用シーン

  1. 01API のないアプリからレポートをエクスポート
  2. 02サプライヤーポータルから請求書をダウンロード
  3. 03メールの情報を使って CRM の記録を更新
  4. 04完了済みのデスクトップ作業を再実行

MCP 対応

ローカル runner は stdio または SSE 経由で、コンピューター操作ツールをクライアントに公開します。クライアントは auten mcp-bridge または npm launcher で接続でき、リモート SSE 接続では runner-only モードを利用できます。

設定

ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。

mcp.json · 共通設定
{
"mcpServers": {
"ai-auten": {
"command": "npx",
"args": [
"-y",
"@autenai/mcp"
]
}
}
}
起動コマンドnpx -y @autenai/mcp

ローカルサーバーにはマシン上の実行環境(Node.js 18 以上など)が必要です。設定ファイルの場所はクライアントごとに異なります。

パッケージ
npm@autenai/mcp0.1.5

ツール

1

掲載時のツール一覧 · 2 週間前に更新

このツールにパラメーターはありません。

詳細

Auten:コンピューター操作用MCPサーバー

Auten MCP サーバー

今お使いのAIエージェントに、コンピューター操作機能を。
Claude Code、Codex、Cursor、Gemini CLI、または任意のMCPクライアントを使って、APIのない実際のアプリでも、Mac、Windows、LinuxのコンピューターやAndroidスマートフォン(ベータ版)の画面をクリック、入力、読み取りできます。

npm AutenをCursorに追加 AutenをVS Codeに追加

ウェブサイト  |  各クライアントのセットアップ  |  料金  |  [email protected]

アニメーション:Claude CodeがAutenにInstagramでの返信を依頼すると、Autenがアプリを開き、チャットを見つけて送信します。次回の実行では、トークンを使わず、同じタスクを記憶から数秒で再生します。
イメージ:初回はAIが操作し、次回以降は記憶から再生します。


Autenが手となり、AIが頭脳となります。コンピューター上で動く小さなランナーが、クリック、入力、画面の読み取りを行います。エージェントはMCP(stdioまたはSSE)経由でランナーと通信します。Autenは独自のモデルを提供せず、AIのキーも必要ありません。エージェントは、すでに料金を支払っているプランを引き続き使用します。

単純なマウス・キーボード連携とは、次の点が異なります。

  • ピクセルだけでなく、UIを読み取ります。 アクセシビリティツリーを利用するため、座標を推測する代わりに、番号付きの実際のボタンやフィールドの一覧(list_elementsの後にclick_at(3))をエージェントに渡します。アプリにアクセシビリティ情報がない場合は、OCRと実際のスクリーンショットも利用できます。
  • タスクを一度学習すると、AIなしで再生できます。 エージェントがタスクを完了すると、Autenはそれをスキルとして保存できます。次回はトークンを使わず数秒で再生し、アプリのレイアウトが変わっても自動で修正します。
  • パスワードはお使いのコンピューター上に保管されます。 fill_loginは保存された秘密情報をエージェントに一切見せずにフィールドへ入力します。

実際の画面キャプチャ:AIエージェントがAuten MCPを通じてローカルの連絡先フォームに約14秒で入力し、スキルとして保存します。その後、run_skillが新しい値を使い、モデルを呼び出さずに4.8秒で再生します。
イメージではなく実際のキャプチャです。初回はエージェントが実行(思考時間を含めて約14秒)し、その後は新しい値でrun_skillを実行(4.8秒、モデル呼び出しなし)します。ローカルのテストページ、1 fps、実行間にカットが1回あります。

エージェントに依頼できること

いつもお使いのクライアントで、普通の言葉で依頼できます。手順はエージェントが決め、クリックはAutenが行います。

  • 「仕入先ポータルを開いて、今月の請求書をダウンロードし、~/Invoicesに入れてください。」
  • 「CRMの新しい見込み客を確認して、メールから会社名が不足している項目を入力してください。」
  • 「あのデスクトップアプリからレポートをCSVでエクスポートしてください。APIがないので、ファイルメニューを使ってください。」
  • 「AndroidスマートフォンでInstagramを開き、最新のDMにこの文章で返信してください。」(スマートフォンはベータ版、USB経由)
  • 「うまくいきました。export-reportという名前のスキルとして保存してください。」次回は「export-reportを実行してください。」と依頼できます。AIなしで再生します。

クイックスタート

1. ランナーをインストールします(コマンド1つで完了します。macOS と Windows では管理者権限は不要です。Linux では、アクセシビリティツールと入力ツールを apt でインストールするため、初回のみ sudo を求められます)。

# macOS and Linux
curl -fsSL https://auten.ai/install | bash
# Windows (PowerShell)
irm https://auten.ai/install.ps1 | iex

初回起動時に、無料キーの接続を求められます(毎月30分利用でき、カードは不要です)。

2. Auten をエージェントに追加します。 Claude Code では、Auten が自動で設定できます。

auten connect

または、Claude Code CLI で追加し、/mcp で確認します。

claude mcp add -s user auten -- auten mcp-bridge

3. 普通の言葉で依頼します。 たとえば、「Figma を開いて、Hero フレームを PNG としてデスクトップにエクスポートして」 または、「メールにある未読の請求書を確認して、会計アプリに入力して」。 コンピューターやスマートフォン(ベータ版)でのタスクに使えるプロンプトについては、examples/prompts.md をご覧ください。

または npx で実行する

npm パッケージを起動できるクライアントなら、代わりにランチャーを使用できます。インストール済みの ランナーを起動し、Auten がまだインストールされていない場合は、エージェントに1行のインストールコマンドを通知します。 上部の「Add to Cursor」ボタンと「VS Code」ボタンは、このエントリーをそのまま追加します。

{
  "mcpServers": {
    "auten": { "command": "npx", "args": ["-y", "@autenai/mcp"] }
  }
}
claude mcp add -s user auten -- npx -y @autenai/mcp

Windows でクライアントに spawn npx ENOENT と表示される場合、Windows では npx は npx.cmd であり、シェルを介さずにサーバーを起動するクライアントもあります。その場合は "command": "cmd", "args": ["/c", "npx", "-y", "@autenai/mcp"] (Claude Code では claude mcp add -s user auten -- cmd /c npx -y @autenai/mcp)を使用するか、以下の auten mcp-bridge を直接指定してください。

または Claude Code プラグインとして使う

このリポジトリは、プラグインマーケットプレイスでもあります。Claude Code 内で次を実行します。

/plugin marketplace add auten-ai/auten-mcp
/plugin install auten@auten

このプラグインが追加するのは、同じ npx ランチャーエントリーのみです(フックやコマンドは追加されません)。plugin/README.md をご覧ください。

クライアントの設定

すべてのクライアントは、同じ stdio コマンド auten mcp-bridge(または npx -y @autenai/mcp)を起動します。アプリに auten が見つからないと表示される場合は、which auten で確認したフルパス(通常は ~/.local/bin/auten)を使用してください。

OpenAI Codex
codex mcp add auten -- auten mcp-bridge

または ~/.codex/config.toml に追加します。

[mcp_servers.auten]
command = "auten"
args = ["mcp-bridge"]
Cursor

~/.cursor/mcp.json(またはプロジェクト内の .cursor/mcp.json):

{
  "mcpServers": {
    "auten": { "command": "auten", "args": ["mcp-bridge"] }
  }
}
Gemini CLI
gemini mcp add --scope user auten auten mcp-bridge

または、同じ mcpServers エントリーを ~/.gemini/settings.json に追加します。

GitHub Copilot CLI
copilot mcp add auten -- auten mcp-bridge

または ~/.copilot/mcp-config.json に追加します。

{
  "mcpServers": {
    "auten": { "type": "local", "command": "auten", "args": ["mcp-bridge"], "tools": ["*"] }
  }
}

セッション中に /mcp add を実行すると、同じフォームが開きます(タイプは STDIO、コマンドは auten mcp-bridge)。

Claude Desktop

「Settings」→「Developer」→「Edit Config」 (macOS では ~/Library/Application Support/Claude/claude_desktop_config.json、 Windows では %APPDATA%\Claude\claude_desktop_config.json):

{
  "mcpServers": {
    "auten": { "command": "auten", "args": ["mcp-bridge"] }
  }
}

Claude Desktop を再起動します。

VS Code (GitHub Copilot agent mode)

MCP: Open User Configuration を実行して、次を追加します。

{
  "servers": {
    "auten": { "type": "stdio", "command": "auten", "args": ["mcp-bridge"] }
  }
}
Windsurf

~/.codeium/windsurf/mcp_config.json:

{
  "mcpServers": {
    "auten": { "command": "auten", "args": ["mcp-bridge"] }
  }
}
Zed

~/.config/zed/settings.json:

{
  "context_servers": {
    "auten": { "command": "auten", "args": ["mcp-bridge"] }
  }
}
Cline

llms-install.md を使って Auten を設定するよう Cline に依頼するか、 MCP Servers の Configure(cline_mcp_settings.json)で自分で追加します。

{
  "mcpServers": {
    "auten": { "command": "auten", "args": ["mcp-bridge"] }
  }
}
stdio の代わりにリモート(SSE)を使用する

ネットワーク経由で接続するクライアントの場合、操作対象のコンピューターでランナーをオンライン状態に保ちます。

auten --runner-only

次に、アカウントページから個人用 MCP URL を取得して使用します。この URL にはキーが含まれているため、他人に見られないようにしてください。

claude mcp add --transport sse auten <your-url>

エージェントをお持ちでない場合は、auten key add で独自のキー(Anthropic、OpenAI、Google、DeepSeek、または OpenAI 互換プロバイダーのキー)を auten CLI に登録してから、auten "open my calendar and tell me what is next" を実行してください。

ツール

グループツール
画面を見るlist_elements、read_text、screenshot、screenshot_labeled、vision、screen_info
操作するclick_at、click、fill、type、paste_text、press_keys、scroll、drag、move_mouse、act_on_matching、menu_select
アプリとウィンドウopen_app、open_url、focus_window、browser_tabs、save_file、upload_file、clipboard_read
シークレットlist_logins、fill_login、get_profile
学習済みスキルlist_skills、run_skill、skills、show_skill、start_recording、stop_recording、start_fixing、stop_fixing
調整ask_user、focus_app、release、gui_status、wait、opened_items、browser_cleanup

プラットフォーム

macOS(Apple Silicon および Intel)、Windows 10/11、Linux(X11)、および USB 接続の Android スマートフォン(ベータ版)。

Linux:インストーラーが「deps」の手順で止まりますか? アクセシビリティ(AT-SPI)と入力ツールのために、一度 sudo が必要です。 新規または最小構成の環境(apt リストが空、python3-venv がない環境)では、先にインストールしてから、インストーラーをもう一度実行してください。

sudo apt-get update
sudo apt-get install -y python3-venv python3-pyatspi python3-gi xdotool wmctrl scrot xclip libglib2.0-bin tesseract-ocr libsecret-tools

Auten は実際の X11 デスクトップセッションを操作するため、ディスプレイのないヘッドレスコンテナでは動作しません。 それでも解決しない場合は、最後の行をディスカッションに貼り付けてください。

料金

プラン利用時間料金
Free毎月30分€0、カード不要
Starter毎月10時間€9/月(早期アクセス)
Pro無制限€29/月(早期アクセス)

AI はご自身で用意するため、料金は Auten のみを対象とします。詳細はauten.ai/pricingをご覧ください。

プライバシーと安全性

  • ランナーは、MCP クライアントがツールを呼び出したときにのみ動作します。バックグラウンドで自動的に実行されることはありません。
  • 保存されたパスワードはシステムのキーチェーン(macOS、Windows)またはプライベートなローカルボールト(Linux)に保管され、 当社のサーバーやモデルに送信されることはありません。画面に表示されたシークレットは、エージェントに表示される前にプレースホルダーに置き換えられます。
  • 保存したログイン情報は、最初に使用したサイトまたはアプリに固定されます。それ以外のオリジンでは、 fill_login は拒否して何も入力しません。再固定できるのはご自身のみです(auten vault unpin <name>)。
  • アクティビティ履歴と学習済みスキルは、当社ではなく、ご自身のコンピューターに保存されます。 プライバシーポリシーをご覧ください。

このリポジトリについて

このリポジトリには、公開ドキュメント、クライアント設定、@autenai/mcp npm ランチャー (bin/auten-mcp.js)が含まれており、すべて MIT LICENSE のもとで提供されています。ランナー自体は、 上記のインストーラーを通じて、Auten の利用規約に基づき別途配布されています。ご質問、バグ報告、機能リクエストは、 issueまたは [email protected] までお寄せください。

Auten はリトアニアの MB Icecode が開発しています。

コメント

MCP は初めてですか?

プロトコルの概要から最初のサーバーの導入まで、よくある疑問にまとめて答えます。

AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。