关于 axiom-vision
面向使用 Apple Vision 框架进行计算机视觉开发的技能指南,供编码 Agent 查询实现、API 参考与故障诊断。按任务类型引导至分主题文档,涵盖识别、分割和扫描等工作。
主要功能
- 01按任务路由到实现、参考或诊断文档
- 02涵盖主体分割与姿态检测
- 03提供 OCR、条码和文档扫描指引
- 04包含性能与坐标问题诊断
适用场景
- 01实现图像中的手部或人体姿态检测
- 02开发文本识别或二维码扫描
- 03排查检测置信度或坐标转换问题
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ charleswiltgen/ axiom --skill axiom-vision安装后在 Claude Code 中输入/axiom-vision确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
skills/vision-diag.mdvision-framework.mdvision-ref.md详细介绍
计算机视觉
使用 Vision 框架进行任何计算机视觉工作时,都必须使用此技能。
快速参考
| 症状 / 任务 | 参考 |
|---|---|
| 主体分割、提取 | 参见 skills/vision-framework.md |
| 手部 / 身体姿势检测 | 参见 skills/vision-framework.md |
| 文本识别(OCR) | 参见 skills/vision-framework.md |
| 条形码 / QR 码检测 | 参见 skills/vision-framework.md |
| 文档扫描 | 参见 skills/vision-framework.md |
| DataScannerViewController | 参见 skills/vision-framework.md |
| 结构化文档提取(iOS 26+) | 参见 skills/vision-framework.md |
| 隔离物体并排除手部 | 参见 skills/vision-framework.md |
点按分割任意物体 OS27 | 参见 skills/vision-ref.md |
在 watchOS 上使用 Vision watchOS27 | 参见 skills/vision-ref.md |
Foundation Models 的 Vision 工具(BarcodeReaderTool、OCRTool)OS27 | 参见 skills/vision-ref.md |
| Vision 框架 API 参考 | 参见 skills/vision-ref.md |
| Visual Intelligence 集成(iOS 26+、iPadOS27/macOS27) | 参见 skills/vision-ref.md |
敏感内容分类(裸露 / 血腥 / 暴力),通过 detectedTypes 分类(OS27) | 参见 skills/vision-ref.md |
在图库中将人脸分组 / 聚类为人物,生成视频精彩片段 / 关键帧(OS27) | 改用 axiom-media(skills/media-intelligence.md)——MediaIntelligence 会对身份进行聚类;Vision 会检测单张图像中的人脸 |
| 未检测到主体 | 参见 skills/vision-diag.md |
| 手部 / 身体姿势缺少关键点 | 参见 skills/vision-diag.md |
| 观测结果置信度低 | 参见 skills/vision-diag.md |
| 处理期间 UI 冻结 | 参见 skills/vision-diag.md |
| 坐标转换错误 | 参见 skills/vision-diag.md |
| 未识别文本 / 字符错误 | 参见 skills/vision-diag.md |
| 未检测到条形码 | 参见 skills/vision-diag.md |
| DataScanner 画面空白 / 无项目 | 参见 skills/vision-diag.md |
| 未检测到文档边缘 | 参见 skills/vision-diag.md |
决策树
digraph vision {
start [label="Computer vision task" shape=ellipse];
what [label="What do you need?" shape=diamond];
start -> what;
what -> "skills/vision-framework.md" [label="implement feature"];
what -> "skills/vision-ref.md" [label="API reference"];
what -> "skills/vision-ref.md" [label="Visual Intelligence"];
what -> "skills/vision-ref.md" [label="tap-to-segment / watchOS / FM tools (27)"];
what -> "skills/vision-diag.md" [label="something broken"];
}
- 正在实现(姿势、分割、OCR、条形码、文档、实时扫描)?→
skills/vision-framework.md - Visual Intelligence 系统集成(相机 / 截图搜索;iOS 26+、iPadOS27/macOS27)?→
skills/vision-ref.md(Visual Intelligence 部分) - 点按分割、在 watchOS 上使用 Vision,或使用 Foundation Models 的 Vision 工具(27 周期)?→
skills/vision-ref.md - 需要 API 参考 / 代码示例?→
skills/vision-ref.md - 正在调试问题(检测失败、置信度、坐标)?→
skills/vision-diag.md
关键模式
实现(skills/vision-framework.md):
- 选择合适 Vision API 的决策树
- 使用 VisionKit 进行主体分割
- 隔离物体并排除手部(组合使用多个 API)
- 手部 / 身体姿势检测(21 / 19 个关键点)
- 文本识别(快速与准确模式)
- 通过选择符号类型检测条形码
- 文档扫描和结构化提取(iOS 26+)
- 使用 DataScannerViewController 进行实时扫描
- CoreImage HDR 合成
诊断(skills/vision-diag.md):
- 主体检测失败(画面边缘、光线)
- 关键点跟踪问题(置信度阈值)
- 性能优化(跳帧、缩小尺寸)
- 坐标转换(左下角与左上角原点)
- 文本识别失败(语言、对比度)
- 条形码检测问题(符号类型、尺寸、眩光)
- DataScanner 故障排查(可用性、数据类型)
防止自我合理化
| 想法 | 实际情况 |
|---|---|
| “Vision 框架不过是请求/处理器模式” | Vision 还涉及坐标转换、置信度阈值和性能方面的注意事项。vision-framework.md 涵盖了这些内容。 |
| “不用这个技能,我也能处理文本识别” | VNRecognizeTextRequest 有快速/准确模式和针对特定语言的设置。vision-framework.md 提供了相关模式。 |
| “主体分割很简单” | 实例蒙版涉及 HDR 合成和排除手部的模式。vision-framework.md 涵盖了复杂场景。 |
| “Visual Intelligence 不过是相机 API” | Visual Intelligence 是系统级功能,需要 IntentValueQuery 和 SemanticContentDescriptor。vision-ref.md 中有集成部分。 |
| “我直接在主线程上处理就行” | 在较旧设备上,Vision 会阻塞 UI。iPhone 12 用户会遇到应用卡死。花 15 分钟添加后台队列即可。 |
示例调用
用户:“如何检测图像中的手部姿势?”
→ 参见 skills/vision-framework.md
用户:“分割出主体,但排除用户的手”
→ 参见 skills/vision-framework.md
用户:“如何读取图像中的文字?”
→ 参见 skills/vision-framework.md
用户:“用相机扫描 QR 码”
→ 参见 skills/vision-framework.md
用户:“主体检测无法正常工作”
→ 参见 skills/vision-diag.md
用户:“文本识别返回了错误字符”
→ 参见 skills/vision-diag.md
用户:“给我看看 VNDetectHumanBodyPoseRequest 示例”
→ 参见 skills/vision-ref.md
用户:“如何让我的应用支持 Visual Intelligence?”
→ 参见 skills/vision-ref.md
用户:“让用户轻点照片中的对象并将其抠出”
→ 参见 skills/vision-ref.md(迭代式分割)
用户:“我能在 watchOS 应用中使用 Vision 吗?”
→ 参见 skills/vision-ref.md(watchOS 上的 Vision)
用户:“RecognizeDocumentsRequest API 参考”
→ 参见 skills/vision-ref.md
用户:“将图库中的人脸归类到不同人物中”/“在设备端将人脸聚类为人物”
→ 使用 axiom-media(skills/media-intelligence.md)——对多个资源进行身份聚类,而非逐图检测