TinkyVision

TinkyVision + IsolatedTester

由 Luke Kist / TinkyBink 创建 · AgewellEPM

通过 MCP 实现屏幕理解和隔离式应用测试。通过屏幕截图、设备端 OCR、辅助功能元素和明确的输入工具，将 AI 助手连接到 macOS 应用。IsolatedTester 还提供虚拟显示器应用会话、面向纯文本模型的 ASCII 帧、有界视觉历史记录和证据报告。

**早期访问版本 0.2.0。**这些软件包面向运行 macOS 14 或更高版本的 Apple 芯片 Mac。本项目由独立开发；不声称获得 Anthropic 的收录或认可。Claude Desktop 的全新安装 UI 验收仍待完成。请参阅发布验证。

已发布的 MCP Registry 条目

这两个配套服务均已在官方 MCP Registry中上线：

• io.github.AgewellEPM/tinkyvision — 版本 0.2.0
• io.github.AgewellEPM/isolated-tester — 版本 1.2.1

Registry 条目引用了带版本号的 GitHub MCPB 资源及其 SHA-256 校验和。Registry 发布与 Anthropic 的目录审核彼此独立；Anthropic 表单提交仍在等待处理。

安装

从0.2.0 版本发布页下载这两个配套扩展：

• tinkyvision-0.2.0-macos-arm64.mcpb — 屏幕捕获、OCR、窗口发现、限定范围的辅助功能和经同意后启用的控制。包含 Swift 辅助程序和 Node 依赖项；Claude Desktop 提供 Node。
• isolated-tester-1.2.1-macos-arm64.mcpb — 隔离式应用会话、屏幕截图、OCR/ASCII 帧、辅助功能、输入、录制控制和报告。包含原生 MCP 可执行文件。

通过 Claude Desktop 的扩展安装界面安装这两个扩展。为相关可执行文件授予所需的 macOS 屏幕录制和辅助功能权限；权限因设备而异，无法打包在扩展中。TinkyVision 默认以只读模式启动；仅在需要输入控制时更改其扩展设置。IsolatedTester 提供输入工具，其使用必须获得操作员授权。

这些原生构建产物面向 Apple 芯片。本文不声称支持在 Intel、Windows 或 Linux 主机上运行。Windows 客体需要单独安装 Perslis/GhostBridge 和精确匹配的授权客体磁盘。此处不分发客体映像。

其他 MCP 客户端可以解压软件包，并通过标准输入/输出运行 TinkyVision 的 src/server.mjs（需 Node 20+）或 IsolatedTester 的 bin/isolated-mcp 可执行文件。不同客户端对 MCPB 的安装支持有所不同。

模型接收的内容

需求	工具
通过 MCP 直接接收图像	os_screenshot_image、session_image、portal_snapshot
识别出的文本和位置	vision_find_text、ocr_frame
结构化界面元素	os_ax_snapshot、get_accessibility_tree、get_interactive_elements
面向纯文本模型的空间视图	ascii_frame
保存在 Mac 上的捕获结果	os_screenshot、session_frame、screenshot
检查和管理隔离会话	setup_status、list_sessions、create_session、stop_session
查看录制的证据	frame_history、seal_session、session_report、trend_report

纯文本模型接收的是文本表示，而非原生图像感知。文件路径与 MCP 图像响应不同。客户端配置决定是否将图像/文本结果发送给托管模型。

首次会话

1. 检查 setup_status 和现有会话。最多运行一个隔离的应用或 VM 会话。
2. 为一个可丢弃的原生测试应用创建会话，并明确目标。
3. 在选择输入目标前，通过 session_image、OCR 或辅助功能进行观察。
4. 通过新的观察验证结果。
5. 在确保执行清理的情况下停止会话，并确认其拥有的应用/辅助程序均已关闭。

将连续捕获频率控制在每秒 1 帧或更低，并保留 300 帧循环缓冲区。随附的辅助程序/源代码中提供 TinkyStream 捕获功能；这些扩展不会安装后台录制服务。GhostBridge 门户工具需要单独配置并启用门户。缺少此依赖项时，它们会失败。

权限与边界

TinkyVision 保留其敏感应用拒绝列表、只读控制、自我保护检查、原生授权和审计日志记录功能。限定范围的辅助功能授权会绑定到特定窗口，并在到期后失效。只读模式并不意味着工具不存在隐私影响：屏幕截图和 UI 文本可能包含私人信息。

IsolatedTester 会将应用放在虚拟显示器上。这是 UI 隔离，并非文件系统、网络或操作系统安全沙箱。应用和工具仍保留各自的操作系统级权限。随意点击可能会触发应用中的破坏性操作。工具注释用于说明影响，不能替代操作员授权。

隐私政策

连接客户端前，请阅读隐私政策。其中说明了屏幕数据、与模型提供商的数据共享、本地日志、录制内容、保留期限和删除方式。可选的自主测试可使用操作员的凭据调用 Anthropic 或 OpenAI。

致谢与引用

在演示或基于此系统进行构建时，请注明 Luke Kist / TinkyBink (AgewellEPM)，并链接到此仓库。请使用 CITATION.cff 引用特定版本的软件。请保留随附的 IsolatedTester 贡献者和第三方依赖项声明。

源代码与支持

TinkyVision 采用 MIT 许可证；原生辅助程序和构建源代码位于此仓库中。IsolatedTester 作为配套二进制文件分发，并附有 MIT 声明。支持与错误报告。请勿在公开问题中发布私人屏幕截图、API 密钥或会话录制内容。

维护者打包与提交详情：发布指南、审核者说明。