ai-eval-playbook

AI 评估手册 — 实时获取指南

此技能是动态文档的稳定索引，而非文档内容本身。权威手册位于 https://eval.playbook.org.ai/，其维护者每季度发布更新。以下缓存摘要仅供了解概况。**撰写任何实质性答复前，务必获取实时页面**，并说明答复中哪些部分来自实时页面，哪些来自缓存概况。

改编自维护者于 2026-08-05 发布的技能文件（github.com/IDinsight/ai-eval-playbook，skills/），并为 Ane 的工具框架修正了工具引用、改用已更正的 /user-experience 路径（上游的错别字路径现会重定向），且将路由范围限定为 Ane 的技能领域。

第 0 步 — 先查本地

1. 阅读 mel_wiki/wiki/frameworks/ai-evaluation-playbook.md（工作文件夹）。其中包含经过验证的引用块、4 级框架表和 MVE 表、IPPF EN 应用、ECA 校准以及刷新状态。对于快速了解概况的答复，通常只需该页面和本文件——请说明这一点，并指出对应层级。
2. 如果 AI 工具涉及 SRHR，请在手册的评估设计之外，同时应用 mel_wiki/wiki/frameworks/ai-srhr-mel-framework.md（WHO / UNESCO / EU AI Act 合规框架）。

如何获取最新内容（优先顺序）

1. 对权威 URL 使用 WebFetch。如果 context-mode 重定向了调用，请使用 ctx_fetch_and_index 并查询已索引的页面。
2. 窄范围查询使用 ?ask= 端点：在任意页面 URL 后附加 .md?ask=<URL-encoded-question>，即可直接获取带引用的答案。示例：https://eval.playbook.org.ai/model-behaviour/level-1-module-evaluation/overview.md?ask=what+is+a+golden+dataset。
3. 无法自动获取的页面，可回退使用 claude-in-chrome。
4. 避免使用旧版 GitBook-ID URL（/spaces/<id>/pages/<id>）；请使用下方的语义路径。

URL 说明（截至 2026-08-05）：/user-expereince（上游文档记录中的拼写错误路径）现会重定向到 /user-experience——请使用更正后的拼写。各部分的根路径（例如 /model-behaviour）也有对应的 …/overview.md 页面。两个第 3 级子页面的 slug 与标题不一致（descriptive-analysis 显示为“Identify outcome metrics”；user-privacy-and-security 显示为过程评估页面）——请引用页面实际显示的 H1，而非 slug。

4 级框架（缓存概况，2026-08-05）

层级	问题	主要负责者
L1 — 模型	AI 系统是否按预期运行？	AI 工程师、ML 研究人员
L2 — 产品	产品是否吸引并留住用户？	PM、数据科学家、UX 研究人员
L3 — 用户	产品是否改变了用户的想法、感受、知识和行为？	行为科学家、M&E 专员
L4 — 影响	发展成果是否有所改善？	影响评估人员、经济学家

各层级是循环往复的，而非线性的。仅有 L1 不算评估。L2 优化的是达成成功所需的时间，绝非设备使用时长。该 wiki 将 L1–L2 映射为产出、L3 映射为成果、L4 映射为影响（此为 wiki 补充，并非手册内容）。

最低可行评估（在交付成果中引用前，请先获取 MVE 页面）：L1 = 2–3 个带阈值的评分维度 + 30–50 条黄金数据集样本 + ≥1 项安全指标 + 专家审核；L2 = 跟踪参与度／留存率 + Helpful/Not-Helpful 信号；L3 = 每周由专家审核 10 条对话日志 + 1 项近端成果；L4 = 样本量充足的反事实分析 + 版本控制 + 成本数据。

链接地图（已于 2026-08-05 在网站层面核实）

• 首页 / 关于：https://eval.playbook.org.ai/
• 流程与作者信息：https://eval.playbook.org.ai/overview/the-process-behind-this-playbook
• 入门：/getting-started/building-blocks-for-genai-evaluation、/getting-started/building-the-team、/getting-started/building-the-infrastructure
• 常见问题 / 术语表 / MVE / 工具：/additional-resources/frequently-asked-questions、/additional-resources/glossary、/additional-resources/minimum-viable-evaluations、/additional-resources/additional-resources
• L1 模型（根路径 /model-behaviour）：/model-behaviour/how-to-evaluate/ 下的 6 步循环 — 1.-decide-on-an-evaluation-rubric、2.-decide-on-metrics、3.-develop-a-golden-dataset、4.-scoring-and-error-analysis、5.-automate-your-evaluations、6.-red-teaming
• L2 产品（根路径 /product-analytics）：/product-analytics/how-to-evaluate/how-is-level-2-evaluation-performed、methods-for-experimentation-a-b-testing-and-beyond、connection-with-other-levels、why-arent-users-engaging
• L3 用户（根路径 /user-experience）：/user-experience/how-to-evaluate/how-is-level-3-evaluation-performed、descriptive-analysis（呈现为“识别结果指标”）、defining-guardrail-metrics-measuring-potential-harm、why-arent-thoughts-feelings-and-behavior-changing（呈现实验）、user-privacy-and-security（呈现流程评估）
• L4 影响（根路径 /social-impact）：/social-impact/how-to-evaluate/how-is-level-4-evaluation-performed、a-quick-primer-on-impact-evaluation-methods、key-design-considerations-for-ai-specific-impact-evaluations、common-pitfalls-to-avoid、process-evaluation-why-arent-outcomes-changing
• 级别关联（根路径 /level-linkages）：risk-assessment-and-mitigation、data-protection、process-evaluations（以及 do-i-need-a-process-evaluation、what-does-it-take-to-do-a-process-evaluation）

如果获取的子页面返回 404，请获取其所属版块的根页面并按照页面上显示的导航查找；然后标记失效路径，以便更新此技能和 wiki 页面。

回答规则

1. 按照 Ane 的标准引用。 Agency Fund 与 Center for Global Development、IDinsight（2026），AI Evaluation Playbook，持续更新的文档；引用规范网站和具体页面 URL，并注明访问日期。需要稳定版本时，使用：Generative AI Evaluation Playbook: Policy Brief，CGD，2026 年 4 月。按照 CLAUDE.md 的引用标准，在本次会话中核实超链接；切勿凭记忆引用。
2. 根据读者调整内容。 资助方 / 管理层 → 证据标准、成本效益、规模化准备情况。M&E / 行为科学读者 → 构念、问卷设计、因果推断。工程师 / PM → 评分标准、指标、CI、工具。MA 工作人员 / 实施者 → MVE 和实用的起步步骤、Tier 1 登记册、通俗易懂的语言。
3. 诚实说明权衡。 评估耗费大量资源；帮助读者根据所处阶段判断“做到什么程度才够”（MVE 底线正是为此设定），而不是一味要求做到最大程度。
4. 以实时页面为准。 如果实时页面与本技能的缓存内容或 wiki 页面不一致，以实时页面为准；将差异标记到 domain-standards.md 的待核实日志，并注明需要更新本技能——不要悄悄修改 wiki 的引用区块。
5. 将相邻主题的问题转交给合适的资源。 项目 / MEL 评估设计 → /ann、/grill-mel、indicator-designer、evidence-synthesis。评估人员使用 AI → wiki ai-mel-framework。书面提案评分 → donor-proposal-scoring。将纳入交付成果的内容，应遵循该交付成果的层级和步骤，而非采用本技能“先给答案”的模式。