eval-harness-updater

Eval Harness Updater

更新评测框架，确保在环境不稳定时，实时模式和回退模式仍然可用。

重点领域

• 提示词和解析器漂移
• 超时／部分流处理
• SLO 和回归门禁
• 双重运行时的回退一致性

工作流

1. 确定框架路径。
2. 调研测试／评测最佳实践（Exa + arXiv — 见下文“研究门禁”）。
3. 为解析和超时边界情况添加 RED 回归测试。
4. 对框架逻辑进行最小化修补。
5. 验证评测输出和 CI 门禁。
6. 解决配套产物缺口（见下文“交叉引用表”）。

研究门禁（Exa + arXiv — 两者均为必选）

提出框架变更前，收集当前最佳实践：

1. 使用 Exa 了解实现和生态模式：
   • mcp__Exa__web_search_exa({ query: 'LLM eval harness 2025 best practices' })
   • mcp__Exa__get_code_context_exa({ query: 'eval harness parser reliability timeout handling' })
2. 搜索 arXiv 上有关评测方法的学术研究（必选）：
   • 通过 Exa：mcp__Exa__web_search_exa({ query: 'site:arxiv.org LLM evaluation harness 2024 2025' })
   • 直接调用 API：WebFetch({ url: 'https://arxiv.org/search/?query=LLM+evaluation+harness&searchtype=all&start=0' })
3. 在记忆学习中记录决策、约束和非目标。

当主题涉及以下内容时，arXiv 为必选项（不能作为备选）： 大模型评测、Agent 评测、SLO 门禁、回归测试方法或解析器可靠性。

交叉引用：Creator Ecosystem

此技能属于 Creator Ecosystem。如果调研发现缺口，请调用相应的配套创建器：

发现的缺口	必需产物	要调用的创建器	适用时机
领域知识需要可复用的技能	技能	Skill({ skill: 'skill-creator' })	缺口涵盖完整技能领域
现有技能覆盖不完整	技能更新	Skill({ skill: 'skill-updater' })	存在相关技能但覆盖不完整
能力需要专用 Agent	Agent	Skill({ skill: 'agent-creator' })	需要 Agent 负责该能力
现有 Agent 需要更新能力	Agent 更新	Skill({ skill: 'agent-updater' })	存在相关 Agent 但覆盖不完整
领域需要代码／项目脚手架	模板	Skill({ skill: 'template-creator' })	需要可复用的代码模式
行为需要执行前／后的防护措施	hook	Skill({ skill: 'hook-creator' })	需要强制执行行为
流程需要多阶段编排	工作流	Skill({ skill: 'workflow-creator' })	需要多步骤协调
产物需要结构化 I/O 验证	schema	Skill({ skill: 'schema-creator' })	需要用于产物 I/O 的 JSON schema
用户交互需要斜杠命令	命令	Skill({ skill: 'command-creator' })	需要面向用户的快捷方式
重复逻辑需要可复用的 CLI 工具	工具	Skill({ skill: 'tool-creator' })	需要 CLI 实用程序
仅涉及范围狭窄／单一产物的能力	内联	仅在此产物中记录	过于具体，无法泛化

铁律

1. 始终在更新任何评测框架之前，先通过 Exa + arXiv 研究门槛——缺乏最新外部知识就进行更新，会导致评测标准过时。
2. 绝不移除现有评测标准，除非用同等或更好的标准替代——降低评测框架的测试覆盖率属于回归。
3. 在宣布框架完整之前，始终检查创作者生态，查找缺漏——缺少配套产物（技能、Agent、架构）会让框架无法测试新能力。
4. 绝不脱离其评测的技能／Agent 单独更新评测框架——框架和产物必须保持同步，否则框架测试的就是错误行为。
5. 始终保持评测评分的向后兼容性——如果改变评分语义却不迁移历史基线，就无法进行趋势分析。

反模式

反模式	失败原因	正确做法
未通过研究门槛就更新评测框架	标准基于过时知识，遗漏近期评测方法的进展	更新任何评测标准前，始终先进行 Exa + arXiv 研究
为简化框架而移除测试用例	悄然降低覆盖率，导致回归未被发现	只有在测试的行为已被有意移除时，才移除测试用例
在不同 PR 中分别更新框架和产物	产物一旦变更，框架就会立即测试错误行为，导致测试立刻偏离	始终在同一次提交中更新框架和产物
在项目中途改变评分尺度	历史基线将无法比较，趋势分析也会失效	一次性确定评分尺度；如必须更改，则创建迁移方案
未检查配套产物就宣布框架完整	缺少技能或架构会造成评测缺口	将框架更新标记为完成前，始终检查配套产物

记忆协议（强制）

开始之前： 阅读 .claude/context/memory/learnings.md

完成之后：

• 新的评测模式 → .claude/context/memory/learnings.md
• 发现评测缺口 → .claude/context/memory/issues.md
• 做出评分决策 → .claude/context/memory/decisions.md

假设工作可能中断：如果没有记录在记忆中，就等于没有发生。