skill-evolution

Skill 演进管理器

让技能能够根据使用模式、用户编辑和成功率自动改进。提供版本控制，并支持安全回滚。

概述

• 审查技能在各会话中的表现
• 识别用户编辑技能输出时的模式
• 将学到的改进应用到技能模板
• 回滚有问题的技能更改
• 跟踪技能版本历史和成功率

快速参考

命令	描述
/ork:skill-evolution	显示所有技能的演进报告
/ork:skill-evolution analyze <skill-id>	分析特定技能的模式
/ork:skill-evolution evolve <skill-id>	审查并应用建议
/ork:skill-evolution history <skill-id>	显示版本历史
/ork:skill-evolution rollback <skill-id> <version>	恢复到先前版本
/ork:skill-evolution promote <skill-id>	留出集对比测试：仅当候选版本以足够优势胜过当前最佳版本时，才予以晋级

---

工作原理

技能演进系统分三个阶段运行：

COLLECT                    ANALYZE                    ACT
───────                    ───────                    ───
┌─────────────┐           ┌─────────────┐           ┌─────────────┐
│ PostTool    │──────────▶│ Evolution   │──────────▶│ /ork:skill- │
│ Edit        │  patterns │ Analyzer    │ suggest   │ evolution   │
│ Tracker     │           │ Engine      │           │ command     │
└─────────────┘           └─────────────┘           └─────────────┘
     │                          │                          │
     ▼                          ▼                          ▼
┌─────────────┐           ┌─────────────┐           ┌─────────────┐
│ edit-       │           │ evolution-  │           │ versions/   │
│ patterns.   │           │ registry.   │           │ snapshots   │
│ jsonl       │           │ json        │           │             │
└─────────────┘           └─────────────┘           └─────────────┘

加载详情：使用 Read("${CLAUDE_SKILL_DIR}/rules/pattern-detection-heuristics.md") 查看跟踪的编辑模式和检测正则表达式。加载详情：使用 Read("${CLAUDE_SKILL_DIR}/rules/confidence-scoring.md") 查看建议阈值。

---

子命令

每个子命令均附有实现细节、Shell 命令和示例输出。加载详情：Read("${CLAUDE_SKILL_DIR}/references/evolution-commands.md")

报告（默认）

/ork:skill-evolution — 显示所有受跟踪技能的演进报告，其中包含使用次数、成功率和待处理建议。

分析

/ork:skill-evolution analyze <skill-id> — 深入分析特定技能的编辑模式，显示频率、样本数和置信度评分。

演进

/ork:skill-evolution evolve <skill-id> — 交互式审查改进建议。针对每条建议使用 AskUserQuestion（应用 / 跳过 / 拒绝）。应用前会创建版本快照。

历史

/ork:skill-evolution history <skill-id> — 显示版本历史以及各版本的性能指标。

回滚

/ork:skill-evolution rollback <skill-id> <version> — 确认后恢复到先前版本。当前版本会自动备份。

---

数据文件

文件	用途	格式
.claude/feedback/edit-patterns.jsonl	原始编辑模式事件	JSONL（仅追加）
.claude/feedback/evolution-registry.json	汇总的建议	JSON
.claude/feedback/metrics.json	技能使用指标	JSON
skills/<cat>/<name>/versions/	版本快照	目录
skills/<cat>/<name>/versions/manifest.json	版本元数据	JSON

---

自动演进安全机制

加载详情：使用 Read("${CLAUDE_SKILL_DIR}/rules/auto-evolution-triggers.md") 查看完整的安全机制、健康监控和触发条件。

关键保护措施：更改前创建版本快照；成功率下降超过 20% 时自动发出警报；必须经人工审查；已拒绝的建议不会再次提出。

---

留出集晋级门槛（冠军 / 挑战者）

/ork:skill-evolution promote <skill-id> — 仅当候选编辑在封存留出集评估中以一定幅度（默认在 0–10 评分标准上高出 0.5）胜过当前版本时，才晋级该编辑。两项评分以及晋级 / 拒绝决定都会追加到只追加的 promotion-ledger.jsonl 中，以供审计。这是 evolve 所缺少的客观门槛——“应用？”提示并不能证明编辑更好——也是“自动评估所有技能 + Agent，达到统一标准”的原生机制：技能要通过一场对决才能晋级，而不是由人类肉眼审查差异。

champion (HEAD) -- vs -- challenger (candidate)
        +--------+--------+
   SEALED HOLDOUT (hash-locked) -- bare-eval forked graders
                 v
   delta = challenger - champion >= margin ?  ->  PROMOTE : REJECT  (both logged)

评分通过 bare-eval（--bare --print、CLAUDE_CODE_FORK_SUBAGENT=1）运行，确保冠军和挑战者看到逐字节相同、彼此隔离的条件——唯一变量是 SKILL.md 版本。打平时拒绝晋级（由现有版本胜出）；每个维度的 min_blocker 都会在单一维度退步时自动拒绝，即使综合评分有所提升。

**防作弊：**挑战者生成器永远不会读取 evals/holdout.jsonl（输入允许列表仅包含 edit-patterns.jsonl），并且每场对决和 CI 都会重新计算留出集的 LC_ALL=C sha256，并与 holdout.lock.json 比对——在测试集上训练或悄悄修改留出集都会导致流程安全失败。该机制有意设置得成本较高（调用评分器 2*N 次；--bare 需要 ANTHROPIC_API_KEY，并会消耗 Token），因此只按需运行或在 CI 中运行，绝不会在后台钩子中运行（空闲时成本为 $0）。

加载详情：Read("${CLAUDE_SKILL_DIR}/references/holdout-promotion-gate.md") — ledger/lock JSON 架构、决策规则、运行循环、/goal + CI 接线方式。

---

参考资料

按需使用 Read("${CLAUDE_SKILL_DIR}/references/<file>") 加载：

文件	内容
evolution-commands.md	子命令实现、Shell 命令和示例输出
evolution-analysis.md	演进分析方法
version-management.md	版本管理指南
holdout-promotion-gate.md	冠军 / 挑战者门槛：封存留出集、ledger 架构、决策规则、/goal + CI 接线方式

规则

按需使用 Read("${CLAUDE_SKILL_DIR}/rules/<file>") 加载：

文件	内容
pattern-detection-heuristics.md	编辑模式类别和正则表达式检测
confidence-scoring.md	建议阈值和置信度标准
auto-evolution-triggers.md	安全机制和触发条件

---

相关技能

• ork:configure - 配置 OrchestKit 设置
• ork:doctor - 诊断 OrchestKit 问题
• feedback-dashboard - 查看全面的反馈指标