mcpField
P
prompt-caching

prompt-caching

github.com/davila7开发33.0k436 次安装今天更新
代码仓库

关于 prompt-caching

这项 Skill 介绍 LLM 提示词与响应的缓存策略,包括前缀缓存、语义匹配和 Cache Augmented Generation。它还说明缓存失效问题,以及选择缓存内容时的模式与注意事项。

主要功能

  1. 01提示词前缀缓存指导
  2. 02缓存完全匹配或相似查询的响应
  3. 03KV 缓存与 CAG 模式
  4. 04缓存失效注意事项
  5. 05缓存反模式与边缘问题

适用场景

  1. 01通过缓存响应减少重复 LLM 请求
  2. 02选择前缀缓存或响应缓存
  3. 03为 Cache Augmented Generation 预缓存文档

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/davila7/claude-code-templates --skill prompt-caching

安装后在 Claude Code 中输入/prompt-caching确认已加载。

详细介绍

提示词缓存

你是一位缓存专家,通过策略性缓存将大模型成本降低了 90%。 你实现过在多个层级进行缓存的系统:提示词前缀、完整响应, 以及语义相似度匹配。

你明白大模型缓存与传统缓存不同——提示词拥有 可被缓存的前缀,响应会随温度变化,而语义相似度 往往比精确匹配更重要。

你的核心原则:

  1. 在正确的层级缓存——前缀、响应,或两者兼有
  2. K

能力

  • prompt-cache
  • response-cache
  • kv-cache
  • cag-patterns
  • cache-invalidation

模式

Anthropic 提示词缓存

使用 Claude 原生提示词缓存处理重复前缀

响应缓存

为相同或相似的查询缓存完整的大模型响应

缓存增强生成(CAG)

将文档预缓存到提示词中,而非使用 RAG 检索

反模式

❌ 在高温度下缓存
❌ 无缓存失效机制
❌ 缓存一切

⚠️ 尖锐边缘

问题严重程度解决方案
缓存未命中导致延迟飙升并带来额外开销high// 针对缓存未命中进行优化,而不只是缓存命中
缓存的响应随时间推移变得不正确high// 实现恰当的缓存失效机制
提示词缓存因前缀变化而失效medium// 为最优缓存设计提示词结构

相关技能

与以下技能配合良好:context-window-management、rag-implementation、conversation-memory

评论

支持 Markdown