关于 memory-quality-auditor
memory-quality-auditor 是用于检查 Agent 记忆检索质量的技能,覆盖短期、中期和长期记忆。它要求基于历史基线评估指标,并将发现整理为可验证的修复任务。
主要功能
- 01检查检索偏移与过时记忆比例
- 02评估证据注入覆盖率
- 03检查引用使用与依据充分性
- 04对比基线并判定指标阈值
- 05生成含测试条件和指标的修复项
适用场景
- 01定期检查多层记忆的检索质量
- 02发现记忆陈旧或晋升过程中的问题
- 03验证修复后的检索结果
- 04检查记忆注入是否有引用依据
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ oimiragieo/ agent-studio --skill memory-quality-auditor安装后在 Claude Code 中输入/memory-quality-auditor确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
commands/memory-quality-auditor.mdhooks/post-execute.cjspre-execute.cjsreferences/research-requirements.mdrules/memory-quality-auditor.mdschemas/input.schema.jsonoutput.schema.jsonscripts/main.cjstemplates/implementation-template.md详细介绍
记忆质量审计器
将记忆系统作为统一检索层进行审计(STM/MTM/LTM 文件 + 索引 + 派生任务的引用结果)。
范围
- 检索漂移信号
- 过期记忆比例
- 证据注入覆盖率
- 引用使用情况/依据支撑的连续性
工作流
- 阅读记忆材料和最新评估报告。
- 计算质量指标和阈值状态。
- 输出包含 TDD 检查的整改待办事项。
- 将发现记录到记忆中,并可选择提出演进建议。
铁律
- 始终在审计前建立基线指标快照——漂移只有相对于先前测量才有意义;没有基线的审计只能得出无法识别回归的绝对数值。
- 绝不在未重新运行受影响的检索查询前关闭记忆问题——未经验证就关闭会产生虚假的改进指标,并掩盖持续存在的退化。
- 始终在每次审计中检查引用依据——未引用的记忆注入是 Agent 派生任务中产生幻觉的主要来源;跳过此检查会漏掉风险最高的故障模式。
- 绝不只审计 STM 层——退化往往源于 MTM/LTM 提升过程中的数据损坏;每次完整审计周期都必须抽查全部三个层级。
- 始终输出可直接用于 TDD 的整改事项,包含失败测试条件和预期指标阈值——模糊的发现(“记忆质量低”)无法由任何 Agent 采取行动。
反模式
| 反模式 | 失败原因 | 正确做法 |
|---|---|---|
| 不建立基线就开始审计 | 无法区分回归与稳定状态;所有发现都含糊不清 | 在会话开始时快照当前指标;计算相对于上次运行的差值 |
| 未复查就关闭问题 | 会造成假阳性的解决结果;退化仍在持续,却被绿色指标悄然掩盖 | 每次整改后重新运行特定检索查询;只有确认指标正常后才关闭问题 |
| 跳过引用依据检查 | 引用失败是 Agent 产生幻觉的主要原因;漏掉此检查就会遗漏严重程度最高的一类缺陷 | 在每份审计报告中加入 citation_coverage 和 grounded_ratio 指标 |
| 每次派生任务都执行完整模式审计 | 完整审计成本高;无条件运行会增加成本并拖慢工作流 | 日常检查使用 --mode summary;将 --mode full 留给计划内或触发式审计 |
| 只审计 STM | 仅扫描 STM 无法发现 MTM/LTM 数据损坏;过期的 LTM 条目会污染后续会话 | 抽查全部三个层级:STM(当前会话)、MTM(最近 10 个会话)、LTM(永久摘要) |
记忆协议(强制)
开始前:
阅读 .claude/context/memory/learnings.md
完成后:
- 新模式 →
.claude/context/memory/learnings.md - 发现问题 →
.claude/context/memory/issues.md - 做出决策 →
.claude/context/memory/decisions.md
假设会发生中断:如果没有记录在记忆中,就等于没有发生。
评论
支持 Markdown