Rocuronium について
Rocuroniumは、AIエージェントに専用のログインセッションとカーソルを提供するmacOS自動化システムです。アクセシビリティ情報とローカルのビジョンモデルを組み合わせてUIを操作し、操作結果を示す証拠を返します。
主な機能
- 01専用macOSセッションとカーソル
- 02アクセシビリティツリーとオンデバイスOCR
- 03クリック・入力・スクロール・ウィンドウ操作
- 04操作結果を示す証拠
- 05失敗時の方針を備えた順次プラン
- 06CLIとMCPによるセッション制御
活用シーン
- 01人間のカーソルを使わないアプリ画面の自動操作
- 02UI操作による画面変化の確認
- 03アクセシビリティ情報が少ないアプリでのコントロール検索
- 04エージェントのmacOSセッションの一時停止や停止
MCP 対応
セッションの確認または停止に使うMCPツールを提供します。セッション作成には人間の承認が必要です。
設定
ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。
インストール方法は未掲載です
このサーバーのパッケージやリモートエンドポイントはまだ取得できていません。プロジェクトの README の手順に従ってください。
ツール
ツール一覧はまだ取得されていません
ローカルサーバーのツールはマシン上で起動して初めて取得できます。メンテナーはまだツール一覧を提供していません。
詳細
Rocuronium
Rocuronium は、AI エージェントに専用のデスクトップとカーソルを備えた、独立した macOS ログインセッションを提供します。アクセシビリティデータがない場合はローカルのビジョンモデルが UI 要素の検出を支援し、各操作の結果として、実際に何が変化したかを示す confirmed、noEffect、unverifiable が返されます。
主な特長
- エージェントが専用のデスクトップとカーソルを使う間、別のログインセッションで作業できます。
- macOS が API 呼び出しの成功を報告した場合でも、操作の失敗を検出できます。
- アプリがアクセシビリティ情報をほとんど公開しない場合でも、ローカルのビジョンモデルでコントロールを検出できます。
機能一覧
- 観察： アクセシビリティツリー、要素検索、オンデバイス OCR、ウィンドウのスクリーンショット、構造またはピクセルの差分。
- 操作： クリック、入力、キー操作、ショートカット、メニュー、スクロール、アプリの起動、ウィンドウ操作。
- 証拠：
confirmed、noEffect、unverifiableと、読み戻し、フォーカス、ウィンドウ、選択、ピクセルの変化。 - 分離： エージェント専用セッション、仮想ディスプレイ、ウィンドウの退避。
- 計画： 事後条件を伴う逐次アクションと、中止、続行、人間の確認のための一時停止、フォールバックの各ポリシー。
- 人間による制御： アクティビティの表示、人間のカーソルを使用する前の承認、緊急停止 ⌃⌥⇧⎋。再開にはアプリのポップオーバーが必要です。
- 自動化： CLI と MCP ツール。セッションの作成には人間の承認が必要です。MCP ではセッションの確認または停止ができます。
注意事項
- Apple シリコン · macOS 26.5+ · アクセシビリティの権限。スクリーンショットと OCR には画面収録の権限が必要です。
- Homebrew：
brew install kageroumado/tap/rocuronium。 - コマンドとモデルのリファレンス · エージェントのセットアップと MCP の設定。
rocuronium guideからも利用できます。
コメント
Markdown 対応
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。