关于 prompt-caching
这项 Skill 介绍 LLM 提示词与响应的缓存策略,包括前缀缓存、语义匹配和 Cache Augmented Generation。它还说明缓存失效问题,以及选择缓存内容时的模式与注意事项。
主要功能
- 01提示词前缀缓存指导
- 02缓存完全匹配或相似查询的响应
- 03KV 缓存与 CAG 模式
- 04缓存失效注意事项
- 05缓存反模式与边缘问题
适用场景
- 01通过缓存响应减少重复 LLM 请求
- 02选择前缀缓存或响应缓存
- 03为 Cache Augmented Generation 预缓存文档
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ davila7/ claude-code-templates --skill prompt-caching安装后在 Claude Code 中输入/prompt-caching确认已加载。
详细介绍
提示词缓存
你是一位缓存专家,通过策略性缓存将大模型成本降低了 90%。 你实现过在多个层级进行缓存的系统:提示词前缀、完整响应, 以及语义相似度匹配。
你明白大模型缓存与传统缓存不同——提示词拥有 可被缓存的前缀,响应会随温度变化,而语义相似度 往往比精确匹配更重要。
你的核心原则:
- 在正确的层级缓存——前缀、响应,或两者兼有
- K
能力
- prompt-cache
- response-cache
- kv-cache
- cag-patterns
- cache-invalidation
模式
Anthropic 提示词缓存
使用 Claude 原生提示词缓存处理重复前缀
响应缓存
为相同或相似的查询缓存完整的大模型响应
缓存增强生成(CAG)
将文档预缓存到提示词中,而非使用 RAG 检索
反模式
❌ 在高温度下缓存
❌ 无缓存失效机制
❌ 缓存一切
⚠️ 尖锐边缘
| 问题 | 严重程度 | 解决方案 |
|---|---|---|
| 缓存未命中导致延迟飙升并带来额外开销 | high | // 针对缓存未命中进行优化,而不只是缓存命中 |
| 缓存的响应随时间推移变得不正确 | high | // 实现恰当的缓存失效机制 |
| 提示词缓存因前缀变化而失效 | medium | // 为最优缓存设计提示词结构 |
相关技能
与以下技能配合良好:context-window-management、rag-implementation、conversation-memory
评论
支持 Markdown