skill-evaluator

技能评估器（进行中）

根据 Anthropic 关于 Agent 技能编写的官方最佳实践评估技能。生成包含评分和可操作建议的结构化评估报告。

快速开始

1. 阅读技能的 SKILL.md 并了解其用途
2. 运行自动验证：scripts/validate_skill.py <skill-path>
3. 根据以下标准进行人工评估
4. 生成包含评分和建议的评估报告

评估工作流

步骤 1：自动验证

先运行验证脚本：

scripts/validate_skill.py <path/to/skill>

此脚本会检查：

• SKILL.md 是否存在且包含有效的 YAML frontmatter
• 名称是否符合规范（小写、使用连字符、最长 64 个字符）
• 是否提供描述且长度少于 1024 个字符
• 正文是否少于 500 行
• 文件引用是否仅深入一层

步骤 2：人工评估

评估各个维度并打分（1–5）：

A. 命名（权重：10%）

评分	标准
5	动名词形式（-ing），用途明确，易于记忆
4	描述清晰，符合规范
3	可以接受，但还可以更清楚
2	含糊或容易误导
1	违反命名规则

规则：最多 64 个字符，只能使用小写字母、数字和连字符；不得使用保留词（anthropic、claude）或 XML 标签。

好例子：processing-pdfs、analyzing-spreadsheets、building-dashboards 坏例子：pdf、my-skill、ClaudeHelper、anthropic-tools

B. 描述（权重：20%）

评分	标准
5	清楚说明功能、具体的激活条件，并使用第三人称
4	描述良好，包含部分触发条件
3	尚可，但缺少触发条件或表述含糊
2	过于简短或用途不清楚
1	缺失或没有帮助

必须包括：技能的功能，以及何时使用。 好例子：“从 PDF 中提取文本。处理 PDF 文档以提取文本、解析表单或分析内容时使用。” 坏例子：“一个用于 PDF 的技能。”或“帮助处理文档。”

C. 内容质量（权重：30%）

评分	标准
5	简洁，默认 Claude 具备智能，指令可操作
4	整体良好，略有冗长
3	存在一些不必要的解释或重复
2	过于冗长或令人困惑
1	内容臃肿，解释显而易见的概念

请思考：“Claude 真的需要这样的解释吗？”删去 Claude 已经了解的内容。

D. 结构与组织（权重：25%）

评分	标准
5	渐进式披露出色，导航清晰，长度恰当
4	组织良好，文件拆分得当
3	尚可，但组织方式还有改进空间
2	组织较差、缺少引用，或 SKILL.md 内容臃肿
1	没有结构，所有内容都堆在 SKILL.md 中

检查：

• SKILL.md 少于 500 行
• 引用仅深入一层（没有嵌套链）
• 较长的引用文件（超过 100 行）包含目录
• 所有路径均使用正斜杠

E. 自由度（权重：10%）

评分	标准
5	完全匹配：灵活任务给予高度自由，脆弱操作给予较低自由
4	自由度总体合适
3	尚可，但校准得还不够好
2	不匹配：过于僵化或过于宽松
1	自由度与任务类型完全不符

指南：

• 高自由度（文本）：存在多种有效方法，取决于具体情境
• 中等自由度（参数化）：存在首选模式，也允许一定变化
• 低自由度（特定脚本）：操作脆弱，需要严格遵循特定顺序

F. 反模式检查（权重：5%）

发现以下每种反模式均扣分：

• 选项过多且没有明确推荐（-1）
• 包含带日期条件的时效性信息（-1）
• 术语不一致（-1）
• 使用 Windows 风格路径（反斜杠）（-1）
• 引用嵌套过深（超过一层）（-2）
• 脚本将错误处理推给 Claude（-1）
• 使用没有说明依据的魔法数字（-1）

第 3 步：生成报告

使用此模板：

# Skill Evaluation Report: [skill-name]

## Summary
- **Overall Score**: X.X/5.0
- **Recommendation**: [Ready for publication / Needs minor improvements / Needs major revision]

## Dimension Scores
| Dimension | Score | Weight | Weighted |
|-----------|-------|--------|----------|
| Naming | X/5 | 10% | X.XX |
| Description | X/5 | 20% | X.XX |
| Content Quality | X/5 | 30% | X.XX |
| Structure | X/5 | 25% | X.XX |
| Degrees of Freedom | X/5 | 10% | X.XX |
| Anti-Patterns | X/5 | 5% | X.XX |
| **Total** | | 100% | **X.XX** |

## Strengths
- [List 2-3 things done well]

## Areas for Improvement
- [List specific issues with actionable fixes]

## Anti-Patterns Found
- [List any anti-patterns detected]

## Recommendations
1. [Priority 1 fix]
2. [Priority 2 fix]
3. [Priority 3 fix]

## Pre-Publication Checklist
- [ ] Description is specific with activation triggers
- [ ] SKILL.md under 500 lines
- [ ] One-level-deep file references
- [ ] Forward slashes in all paths
- [ ] No time-sensitive information
- [ ] Consistent terminology
- [ ] Concrete examples provided
- [ ] Scripts handle errors explicitly
- [ ] All configuration values justified
- [ ] Required packages listed
- [ ] Tested with Haiku, Sonnet, Opus

分数解读

分数范围	评级	操作
4.5 - 5.0	优秀	可供发布
4.0 - 4.4	良好	建议进行少量改进
3.0 - 3.9	合格	需要进行多项改进
2.0 - 2.9	有待改进	需要进行重大修订
1.0 - 1.9	差	需要从根本上重新设计

参考资料

• references/evaluation-criteria.md - 详细的评估标准及示例
• references/scoring-rubric.md - 完整的评分细则及特殊情况

示例

参见 evaluations/ 中的评估场景示例。