mcpField
A
apple-intelligence

apple-intelligence

github.com/rshankras开发838519 次安装14 周前更新
代码仓库

关于 apple-intelligence

面向希望在应用中加入 Apple Intelligence 功能的开发者，提供端侧 LLM、视觉智能和 App Intents 相关技能。内容涵盖 Siri、Shortcuts、Spotlight、结构化输出及模型安全的实现方式。

主要功能

  1. 01端侧模型集成与提示词编写
  2. 02结构化输出与工具调用
  3. 03基于相机的视觉智能
  4. 04用于 Siri、Shortcuts 和 Spotlight 的 App Intents
  5. 05模型可用性与安全指导

适用场景

  1. 01为应用添加端侧文本生成
  2. 02通过 Siri 或 Shortcuts 提供应用操作
  3. 03让应用内容可在 Spotlight 搜索
  4. 04构建基于相机的视觉搜索

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/rshankras/claude-code-apple-skills --skill apple-intelligence

安装后在 Claude Code 中输入/apple-intelligence确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

app-intents/
advanced-features.md
entities-spotlight.md
intents-basics.md
foundation-models/
models-and-agents.md
safety-and-guardrails.md
utilities-package.md

详细介绍

Apple Intelligence 技能

用于实现 Apple Intelligence 功能的技能，包括设备端大模型、视觉识别、App Intents 集成和智能助手。

此技能的启用时机

当用户：

  • 想要为应用添加 AI／大模型功能
  • 需要设备端文本生成或理解功能
  • 询问 Foundation Models 或 Apple Intelligence
  • 想要实现结构化 AI 输出
  • 需要提示词工程方面的指导
  • 想要实现基于摄像头的视觉智能功能
  • 需要通过 App Intents 集成 Siri、Shortcuts 或 Spotlight
  • 想要向系统公开应用操作或内容

可用技能

foundation-models/

通过提示词工程最佳实践集成设备端大模型。

  • 检查模型可用性
  • 会话管理
  • @Generable 结构化输出（属性顺序和架构注入规则）
  • 工具调用模式
  • 快照流式传输
  • 提示词工程技巧
  • safety-and-guardrails.md — 模型限制、指令优先于提示词的层级、护栏处理、四层安全体系、评估
  • models-and-agents.md — Private Cloud Compute、LanguageModel 协议（第三方后端）、视觉输入、DynamicProfile Agent、工具调用模式、KV 缓存规则
visual-intelligence/

与 iOS Visual Intelligence 集成，实现基于摄像头的搜索。

  • IntentValueQuery 实现
  • SemanticContentDescriptor 处理
  • 用于可搜索内容的 AppEntity
  • 显示表示
  • 从结果进行深度链接
app-intents/

适用于 Siri、Shortcuts、Spotlight 和 Apple Intelligence 的 App Intents。

  • AppIntent 协议、参数、perform()
  • AppEntity 和实体查询
  • 使用语音短语的 App Shortcuts
  • IndexedEntity 和 Spotlight 索引
  • 意图模式（后台、前台）
  • 使用 SnippetIntent 实现交互式片段
  • 视觉智能集成
  • 面向 Siri／ChatGPT 的屏幕实体
  • 多选 API
  • Swift 包支持

核心原则

1. 隐私优先
  • 默认在设备端处理；Private Cloud Compute 可扩展处理能力，且不会存储提示词（无需账户／API 密钥 — WWDC26 241）
  • 路由到隐私性较低的后端时，先删去上下文中的敏感信息（参见 foundation-models/models-and-agents.md）
2. 优雅降级
  • 始终检查模型可用性
  • 为不受支持的设备提供备用 UI
  • 妥善处理错误（包括违反护栏的情况——对于主动触发的功能静默处理，对于用户主动发起的操作则予以说明）
3. 高效提示
  • 保持提示词简洁且具体
  • 尽可能使用结构化输出
  • 遵守上下文窗口限制——查询 model.contextSize，切勿硬编码（第一代设备端模型为 4,096；iOS 27 设备端模型为 8,192；Private Cloud Compute 为 32,000）

参考文档

  • Foundation Models
  • Visual Intelligence
  • App Intents
  • 本地下载的文档（可选）：如果 ~/Downloads/docs/ 中包含 FoundationModels-Using-on-device-LLM-in-your-app.md、Implementing-Visual-Intelligence-in-iOS.md 或 AppIntents-Updates.md，请阅读以获取更多详情；如果文件不存在，则直接跳过，不作提示。

评论

支持 Markdown