skills-eval

技能评估与改进

不适用场景

• 编写新技能（使用 abstract:skill-authoring）
• 评估钩子（使用 abstract:hooks-eval）
• 评估规则（使用 abstract:rules-eval）

概述

此框架依据质量标准审查 Claude 技能，以提升性能并降低令牌消耗。自动化工具会分析技能结构、衡量上下文用量，并找出具体的技术改进点。每次审查后运行验证命令，确认修复有效。

skills-auditor 提供结构分析，improvement-suggester 按影响力对修复进行排序。通过 compliance-checker 验证合规性。使用 tool-performance-analyzer 和 token-usage-tracker 监控运行时效率。

快速入门

基本审查

运行完整审查以检查所有技能，或指定某个文件以找出结构问题。

# Audit all skills
make audit-all

# Audit specific skill
make audit-skill TARGET=path/to/skill/SKILL.md

分析与优化

使用 skill_analyzer.py 检查复杂度，并使用 token_estimator.py 验证上下文预算。

make analyze-skill TARGET=path/to/skill/SKILL.md
make estimate-tokens TARGET=path/to/skill/SKILL.md

改进

使用 improvement_suggester.py 和 compliance_checker.py 生成按优先级排序的计划，并验证是否符合标准。

make improve-skill TARGET=path/to/skill/SKILL.md
make check-compliance TARGET=path/to/skill/SKILL.md

评估工作流

首先运行 make audit-all，盘点技能并找出高优先级目标。对于每个需要关注的技能，运行 analyze-skill 分析其复杂度。生成改进计划，应用修复，然后运行 check-compliance 验证技能是否符合项目标准。最后检查令牌预算，确保效率。

评估与优化

质量评估使用 skills-auditor 和 improvement-suggester 生成详细报告。性能分析通过 token-usage-tracker 关注令牌效率，并通过 tool-performance-analyzer 分析工具性能。对于标准合规性，compliance-checker 会自动处理常见的结构问题。

评分与优先级排序

我们从五个维度评估技能：结构合规性、内容质量、令牌效率、激活可靠性和工具集成。得分高于 90 表示技能已达到生产就绪状态，低于 50 则表示存在需要立即处理的严重问题。

改进项按影响力排序。严重问题包括安全漏洞或功能失效。高优先级项目涉及妨碍发现技能的结构缺陷。中低优先级项目则侧重最佳实践和细微优化。

结构模式

已弃用：skills/shared/modules/ 目录。共享模块必须迁移到使用该模块的技能自己的 modules/ 目录中。评估器会将任何仍然存在的 skills/shared/ 标记为结构警告。

当前：每个技能在 skills/<skill-name>/modules/ 中维护自己的模块。跨技能引用使用相对路径（例如，../skill-authoring/modules/description-writing.md）。

资源

共享模块：跨技能模式

• 技能选择：参见 skill-selection-judgment.md
• 触发模式：参见 trigger-patterns.md

技能专属模块

• 触发隔离分析：参见 modules/trigger-isolation-analysis.md
• 创作检查清单：参见 modules/authoring-checklist.md
• 评估工作流：参见 modules/evaluation-workflows.md
• 高级工具使用分析：参见 modules/advanced-tool-use-analysis.md
• 评估框架：参见 modules/evaluation-framework.md
• 集成模式：参见 modules/integration.md
• 故障排除：参见 modules/troubleshooting.md
• 压力测试：参见 modules/pressure-testing.md
• 集成测试：参见 modules/integration-testing.md
• 性能基准测试：参见 modules/performance-benchmarking.md

工具和自动化

• 工具：scripts/ 目录中的可执行分析实用程序。
• 自动化：scripts/automation/ 中的设置和验证脚本。

退出标准

• 每项经过审计的技能都在五个维度（结构合规性、内容质量、令牌效率、激活可靠性、工具集成）上获得评分，总分为 100。
• 审计输出会将任何引用已弃用 skills/shared/ 模块的技能列为结构警告。
• 对于判定为通过的技能，运行 make check-compliance TARGET=<skill> 会以 0 退出，确认合规检查器与审计评分结果一致。
• 对于得分低于 75 的技能，生成一份改进计划，并按优先级排序发现的问题：严重 > 高 > 中 > 低。