mcpField
A
ai-eval-regression-ops-review

ai-eval-regression-ops-review

github.com/sylphxai测试与质量141 次安装今天更新
代码仓库

关于 ai-eval-regression-ops-review

用于将 AI 评测回归问题转化为可执行运维方案的 skill，涵盖数据集与评分标准治理、发布门槛、监控及恢复路径，并明确负责人和依据。

主要功能

  1. 01评测类型分类
  2. 02数据集与评分标准治理
  3. 03发布门槛与故障分流
  4. 04监控与回滚规划
  5. 05生成计划、状态机和清单

适用场景

  1. 01规划模型发布的评测门槛
  2. 02审查评判模型漂移与评分标准校准
  3. 03制定 AI 变更的监控和回滚方案

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/sylphxai/skills --skill ai-eval-regression-ops-review

安装后在 Claude Code 中输入/ai-eval-regression-ops-review确认已加载。

附带文件agents/openai.yamlreferences/ai-eval-regression-ops-patterns.md

详细介绍

AI 评估回归运维评审

使用此技能，将有关 AI 评估回归运维、数据集、评分标准、评审模型漂移、发布门禁、监控和回滚的问题，转化为包含负责人、门禁、指标和恢复路径的具体产物。

工作流

  1. 确定 AI 任务、自主级别、出错造成的危害、数据集、评估负责人、模型／提供商依赖关系、发布节奏，以及面向用户的验收标准。
  2. 阅读 references/ai-eval-regression-ops-patterns.md。
  3. 对评估类型进行分类：黄金用例、对抗／安全评估、评分标准评审模型、人工审核、离线回放、线上金丝雀、成本／延迟，以及任务成功指标。
  4. 定义数据集治理、评分标准版本管理、评审模型校准、发布阈值、故障分诊、监控、回滚和评审周期。
  5. 产出评估运维计划、状态机、决策表、事件架构、回归检查清单和模型变更政策。

不适用情形

  • 如果基础模型无需此技能的特定产物规范就能处理一般性建议，请勿使用。

防护措施

  • 如果关键切片的表现退步，不要仅凭汇总分数发布 AI 变更。
  • 对于高影响用例，未经校准、漂移检查和人工抽查，不要使用模型作为评审者。
  • 未经政策审核，不要将客户私人数据泄露到评估数据集或供应商提示词中。
  • 不要将离线评估通过视为线上成本、延迟、安全性和回退行为均可接受的证明。

输出格式

AI eval context:
Job / autonomy / harm / release cadence:

Eval regression ops plan:
| Area | Decision | Evidence | Risk | Owner |
| --- | --- | --- | --- | --- |

Datasets, rubrics, and gates:
- <item> -> <policy, metric, edge case, support note>

Failure triage and model-change policy:
- <trigger> -> <action, communication, owner>

评论

支持 Markdown