关于 skill-optimizer
用于评估和改进模型应用其他技能可靠性的技能。它通过基准对比、失败分析、针对性修改和发布门槛跟踪效果与回归。
主要功能
- 01测量启用技能与基线表现
- 02分类失败和回归
- 03改进触发条件与示例
- 04比较评估结果
- 05设定发布防护门槛
适用场景
- 01诊断模型持续未满足的标准
- 02改善上下文受限时的技能检索
- 03检查技能是否降低输出质量
- 04为技能更新设置评估门槛
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/skill-optimizer确认已加载。
包含的文件
除 SKILL.md 外，安装时一起下载的参考资料和脚本。
tile.jsonrules/activation-design.mdbenchmark-loop.mdcontext-budget.mdregression-triage.mdrelease-gates.md详细介绍
适用场景
在以下情况下使用此技能：
- 提高模型实际应用技能的概率
- 诊断为什么所有模型都会在某些标准上失败
- 避免技能导致输出质量下降
- 重构技能文本，以便在上下文受限时更容易检索
- 构建可重复的基准测试循环和发布门槛
优化循环（默认工作流）
- 衡量基线行为和启用技能后的行为（按模型、场景和标准分别衡量）
- 找出失败模式：
- 普遍失败（启用技能后为 0%）
- 特定模型的弱点
- 回归（负向差值）
- 编辑以提高显著性：
- 添加明确的触发条件
- 添加具体且完整的示例
- 精简检查清单和决策规则
- 重新运行评估并比较差值
- 设置防护措施后发布（记录发布门槛、运行历史和后续问题）
使用方法
阅读各规则文件，了解详细流程和模板：
- rules/benchmark-loop.md - 端到端基准测试循环和评分
- rules/activation-design.md - 提高检索效果和指令采纳率
- rules/context-budget.md - 降低令牌成本，同时不损失行为效果
- rules/regression-triage.md - 诊断并修复启用技能后的回归
- rules/release-gates.md - 发布技能更新前的通过／不通过标准
实用经验法则
- 与其采用许多宽泛的建议，不如优先选择少量高信号规则
- 将脆弱但价值高的行为放入顶层检查清单
- 为每种常见场景至少加入一个完整示例
- 明确说明哪些内容不得省略
- 通过启用技能与未启用技能的对比，跟踪收益和损失
评论
支持 Markdown