Framelet

让 AI 操作软件，同时录制屏幕以及键盘／鼠标事件，然后通过 MCP 查询、提取和裁剪。专为 AI 驱动的软件测试、漏洞复现、产品展示和操作演示而打造。 CLI 和 MCP 是主要接口；也提供原生录制窗口。无需安装 Python、Node.js、.NET 或 FFmpeg。

不止是 GIF：交互时间线

Framelet 默认同时录制键盘、鼠标和画面采样，并共享 UTC 和单调时钟。除 GIF 外，还会生成时间线和内容完整性清单。

• **唯一标识与时间：**共享的观测 ID 将输入事件、原始采样和 GIF 帧关联起来，并附带 UTC 参考时间和明确的时间偏移。
• **输入记录不受 FPS 限制：**两次采样之间的多个操作可以映射到同一帧。未采样到的画面变化无法恢复。
• **结合上下文进行检查和裁剪：**按 ID／时间定位操作，检查选定画面，然后裁剪或调整速度，同时保留原始标识和计算机时间参考。

键盘记录包含按下／抬起状态转换、键码和扫描码，不包含剪贴板内容或通过 IME 提交的文本。按键事件可能暴露输入内容；画面遮罩不能自动保护密码。鼠标坐标在遮罩区域内会被省略。时间戳描述的是观测到的时间区间，并非硬件同步；停留候选项不会标识 UI 元素。

小巧工具，实用功能

功能	提供的能力
原生录制窗口	移动、调整大小、录制、暂停和保存；使用 F8 控制
客户端安装 + Skill	原生安装、检查和卸载，MCPB，以及可复用的 AI 录制方案
CLI + 本地 MCP	Agent 操作应用时在后台录制
可靠的长时间录制	最长 300 秒的编号 GIF，自动轮换和检查点恢复
键盘／鼠标／画面时间线	定位失败步骤并检查操作结果
1–60 FPS	状态检查和高帧率原生回看；在浏览器中分享时使用 30 FPS
高效的 AI 检查	筛选事件查询、单次批量探测和感知瞬态的操作区间
GIF 编辑	精确剪切时间段和调整播放速度
原生画面帧提取	PNG、联系表、时间戳探测和区域比较
隐私与防护措施	固定遮罩、限定范围的 MCP 路径、防覆盖和资源限制
隔离与完整性	受监督的录制进程、内容哈希和恢复标记

静态验收可使用 1 FPS；精简 GIF 可使用 10–15 FPS；精致演示默认使用 30 FPS。实际采样取决于工作负载。

实测检查性能

v0.4.1 移除了重复的片段检查，跳过未使用的 RGB 转换，并在一次分析过程中生成候选预览。未添加运行时依赖。

本地 MCP 工作负载	v0.4.0	v0.4.1	节省时间
在一个录制片段中探测 64 个时间点	633 毫秒	52.5 毫秒	91.7%
分析 20 秒 GIF 最后 0.5 秒	2,106 毫秒	790 毫秒	62.5%
分析 + 预览 Bilibili 演示	971 毫秒	566 毫秒	41.7%

Windows，每个版本进行 10 次交替预热运行，取中位数。分组测试样例为 64×64；窗口测试样例为 640×360／600 帧；Bilibili 测试复用下方的演示。耗时不包括模型推理和 UI 操作，且受输入和硬件影响。测试方法、哈希、内存权衡和原始结果。

示例 1 · 实际窗口与录制

原始的小型实际录制：620×300 · 3 秒 · 16 FPS · 15,250 字节。这个大部分静止、带有移动标记的场景仅为示例，并非通用压缩基准。

示例 2 · 通过 MCP 操作并录制 Bilibili

开始录制 → 滚动实际浏览器 → 停止 → 探测边界 → 裁剪空闲时间。

29.88 秒 → 7.63 秒。 通过原生区域比较和区间跳转，用八次中点探测定位边界，无需导出中间图像。阅读实际操作演示。

这些演示早于同步时间轴功能。当前版本默认录制键盘／鼠标／帧时间轴；较早的媒体演示了捕获与编辑。

如需查看 GIF 并逐帧检查，我们推荐 Minimal Image Viewer。

专为本地工作流打造

Windows 10 2004+ / Windows 11 x64，可捕获可见桌面。不内置云上传或遥测功能。仅支持 GIF/PNG；不支持音频或 MP4。Agent 指南 · 时间轴详情 · 更新日志。

作者：Neo / 刘民心。灵感来自 GifCam，独立实现。MIT。