TinkyVision

TinkyVision + IsolatedTester

Luke Kist / TinkyBink が作成 · AgewellEPM

MCP を介した画面理解と、分離されたアプリのテストを行います。スクリーンショット、デバイス上での OCR、アクセシビリティ要素、明示的な入力ツールを通じて、AI アシスタントを macOS アプリケーションに接続します。IsolatedTester は、仮想ディスプレイを使ったアプリセッション、テキスト専用モデル向けの ASCII フレーム、上限付きの視覚履歴、エビデンスレポートを追加します。

早期アクセスリリース 0.2.0。 パッケージは macOS 14 以降を実行する Apple silicon Mac を対象としています。このプロジェクトは独立して開発されており、Anthropic による掲載や推奨を主張するものではありません。クリーンインストール環境での Claude Desktop UI の受け入れテストは未完了です。リリース検証をご覧ください。

公開済みの MCP Registry エントリー

両方の関連サーバーは、公式 MCP Registryで公開されています。

• io.github.AgewellEPM/tinkyvision — バージョン 0.2.0
• io.github.AgewellEPM/isolated-tester — バージョン 1.2.1

Registry のエントリーには、バージョン付きの GitHub MCPB アセットと、それらの SHA-256 チェックサムが記載されています。Registry への公開は Anthropic のディレクトリ審査とは別であり、Anthropic のフォーム提出はまだ保留中です。

インストール

0.2.0 リリースから、2 つの関連拡張機能をダウンロードします。

• tinkyvision-0.2.0-macos-arm64.mcpb — 画面キャプチャ、OCR、ウィンドウ検出、範囲を限定したアクセシビリティ、同意を条件とする制御機能を備えています。Swift ヘルパーと Node の依存関係が含まれています。Node は Claude Desktop が提供します。
• isolated-tester-1.2.1-macos-arm64.mcpb — 分離されたアプリセッション、スクリーンショット、OCR／ASCII フレーム、アクセシビリティ、入力、記録制御、レポート機能を備えています。ネイティブ MCP 実行ファイルが含まれています。

Claude Desktop の拡張機能インストール UI から両方をインストールします。該当する実行ファイルに、要求された macOS の画面収録およびアクセシビリティ権限を付与してください。権限はマシンごとに設定され、バンドルできません。TinkyVision はデフォルトで読み取り専用モードで起動します。入力制御を行う場合に限り、拡張機能の設定を変更してください。IsolatedTester は入力ツールを公開しますが、その使用にはオペレーターの許可が必要です。

ネイティブアーティファクトは Apple silicon 向けです。Intel、Windows ホスト、Linux ホストでの実行は対象としていません。Windows ゲストには、別途インストールされた Perslis/GhostBridge と、ライセンスが付与された正確なゲストディスクが必要です。ゲストイメージはここでは配布していません。

その他の MCP クライアントでは、バンドルを展開し、Node 20+ で TinkyVision の src/server.mjs を実行するか、IsolatedTester の bin/isolated-mcp 実行ファイルを stdio 経由で実行できます。MCPB のインストール対応状況はクライアントによって異なります。

モデルが受け取る内容

用途	ツール
MCP 経由で画像を直接受信	os_screenshot_image、session_image、portal_snapshot
認識されたテキストと位置	vision_find_text、ocr_frame
構造化されたインターフェイス要素	os_ax_snapshot、get_accessibility_tree、get_interactive_elements
テキスト専用モデル向けの空間ビュー	ascii_frame
Mac に保存されたキャプチャ	os_screenshot、session_frame、screenshot
分離されたセッションの確認と管理	setup_status、list_sessions、create_session、stop_session
記録されたエビデンスの確認	frame_history、seal_session、session_report、trend_report

テキスト専用モデルが受け取るのはテキスト表現であり、ネイティブな画像認識ではありません。ファイルパスは MCP の画像レスポンスとは異なります。画像／テキストの結果がホスト型モデルに送信されるかどうかは、クライアントの設定によって決まります。

初回セッション

1. setup_status と既存のセッションを確認します。分離されたアプリまたは VM のセッションは、最大 1 つだけ実行してください。
2. 明確な目的を設定し、破棄可能なネイティブテストアプリのセッションを作成します。
3. 入力対象を選択する前に、session_image、OCR、またはアクセシビリティを通じて状態を確認します。
4. 新たに状態を確認して、結果を検証します。
5. クリーンアップ時にセッションを確実に停止し、そのセッションが起動したアプリやヘルパーが終了していることを確認します。

継続的なキャプチャは 1 FPS 以下に抑え、300 フレームのリサイクラーを維持してください。TinkyStream キャプチャは、付属のヘルパー／ソースで利用できます。拡張機能はバックグラウンド録画サービスをインストールしません。GhostBridge ポータルツールには、別途設定したアクティブなポータルが必要です。この依存関係がない場合、ツールは失敗します。

権限と境界

TinkyVision は、機密性の高いアプリの拒否リスト、読み取り専用制御、自己保護チェック、ネイティブの同意、監査ログを維持します。スコープ付きのアクセシビリティ許可は特定のウィンドウに紐づけられ、有効期限があります。読み取り専用モードでも、ツールにプライバシー上の影響がないとは限りません。スクリーンショットや UI テキストに個人情報が含まれる場合があります。

IsolatedTester は、アプリを仮想ディスプレイ上で実行します。これは UI の分離であり、ファイルシステム、ネットワーク、オペレーティングシステムのセキュリティサンドボックスではありません。アプリとツールには、引き続き OS レベルの権限があります。任意のクリックによって、アプリ内の破壊的な操作が実行される可能性があります。ツールの注釈は操作の影響を説明するものであり、オペレーターによる承認に代わるものではありません。

プライバシーポリシー

クライアントを接続する前に、プライバシーポリシーをお読みください。画面データ、モデルプロバイダーとの共有、ローカルログ、録画、保持、削除について説明しています。オプションの自律テストでは、オペレーターの認証情報を使って Anthropic または OpenAI を呼び出すことがあります。

クレジットと引用

このシステムを紹介または活用する際は、Luke Kist / TinkyBink (AgewellEPM) のクレジットを記載し、このリポジトリへのリンクを掲載してください。バージョンを明記したソフトウェアの引用には CITATION.cff を使用してください。IsolatedTester のコントリビューターおよびサードパーティ依存関係に関する付属の通知は、そのまま保持してください。

ソースとサポート

TinkyVision は MIT ライセンスで提供されています。ネイティブヘルパーとビルドソースはこのリポジトリにあります。IsolatedTester は、MIT ライセンス通知を添付したコンパニオンバイナリとして配布されています。サポートとバグ報告。公開イシューには、非公開のスクリーンショット、API キー、セッション録画を投稿しないでください。

メンテナー向けのパッケージ化と提出の詳細：リリースガイド、レビュアー向け手順。