mcpField
M
memory-quality-auditor

memory-quality-auditor

github.com/oimiragieoAgent 工作流4449 次安装17 周前更新
代码仓库

关于 memory-quality-auditor

memory-quality-auditor 是用于检查 Agent 记忆检索质量的技能,覆盖短期、中期和长期记忆。它要求基于历史基线评估指标,并将发现整理为可验证的修复任务。

主要功能

  1. 01检查检索偏移与过时记忆比例
  2. 02评估证据注入覆盖率
  3. 03检查引用使用与依据充分性
  4. 04对比基线并判定指标阈值
  5. 05生成含测试条件和指标的修复项

适用场景

  1. 01定期检查多层记忆的检索质量
  2. 02发现记忆陈旧或晋升过程中的问题
  3. 03验证修复后的检索结果
  4. 04检查记忆注入是否有引用依据

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/oimiragieo/agent-studio --skill memory-quality-auditor

安装后在 Claude Code 中输入/memory-quality-auditor确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

commands/
memory-quality-auditor.md
hooks/
post-execute.cjs
pre-execute.cjs
references/
research-requirements.md
rules/
memory-quality-auditor.md
schemas/
input.schema.json
output.schema.json
scripts/
main.cjs
templates/
implementation-template.md

详细介绍

记忆质量审计器

将记忆系统作为统一检索层进行审计(STM/MTM/LTM 文件 + 索引 + 派生任务的引用结果)。

范围

  • 检索漂移信号
  • 过期记忆比例
  • 证据注入覆盖率
  • 引用使用情况/依据支撑的连续性

工作流

  1. 阅读记忆材料和最新评估报告。
  2. 计算质量指标和阈值状态。
  3. 输出包含 TDD 检查的整改待办事项。
  4. 将发现记录到记忆中,并可选择提出演进建议。

铁律

  1. 始终在审计前建立基线指标快照——漂移只有相对于先前测量才有意义;没有基线的审计只能得出无法识别回归的绝对数值。
  2. 绝不在未重新运行受影响的检索查询前关闭记忆问题——未经验证就关闭会产生虚假的改进指标,并掩盖持续存在的退化。
  3. 始终在每次审计中检查引用依据——未引用的记忆注入是 Agent 派生任务中产生幻觉的主要来源;跳过此检查会漏掉风险最高的故障模式。
  4. 绝不只审计 STM 层——退化往往源于 MTM/LTM 提升过程中的数据损坏;每次完整审计周期都必须抽查全部三个层级。
  5. 始终输出可直接用于 TDD 的整改事项,包含失败测试条件和预期指标阈值——模糊的发现(“记忆质量低”)无法由任何 Agent 采取行动。

反模式

反模式失败原因正确做法
不建立基线就开始审计无法区分回归与稳定状态;所有发现都含糊不清在会话开始时快照当前指标;计算相对于上次运行的差值
未复查就关闭问题会造成假阳性的解决结果;退化仍在持续,却被绿色指标悄然掩盖每次整改后重新运行特定检索查询;只有确认指标正常后才关闭问题
跳过引用依据检查引用失败是 Agent 产生幻觉的主要原因;漏掉此检查就会遗漏严重程度最高的一类缺陷在每份审计报告中加入 citation_coverage 和 grounded_ratio 指标
每次派生任务都执行完整模式审计完整审计成本高;无条件运行会增加成本并拖慢工作流日常检查使用 --mode summary;将 --mode full 留给计划内或触发式审计
只审计 STM仅扫描 STM 无法发现 MTM/LTM 数据损坏;过期的 LTM 条目会污染后续会话抽查全部三个层级:STM(当前会话)、MTM(最近 10 个会话)、LTM(永久摘要)

记忆协议(强制)

开始前: 阅读 .claude/context/memory/learnings.md

完成后:

  • 新模式 → .claude/context/memory/learnings.md
  • 发现问题 → .claude/context/memory/issues.md
  • 做出决策 → .claude/context/memory/decisions.md

假设会发生中断:如果没有记录在记忆中,就等于没有发生。

评论

支持 Markdown