skill-evaluator

スキル評価（WIP）

スキルを、エージェントスキル作成に関する Anthropic の公式ベストプラクティスに照らして評価します。スコアと実行可能な推奨事項を含む、構造化された評価レポートを作成します。

クイックスタート

1. スキルの SKILL.md を読み、その目的を把握します
2. 自動検証を実行します：scripts/validate_skill.py <skill-path>
3. 以下の基準に沿って手動で評価します
4. スコアと推奨事項を含む評価レポートを作成します

評価ワークフロー

ステップ 1：自動検証

まず、検証スクリプトを実行します：

scripts/validate_skill.py <path/to/skill>

以下を確認します：

• SKILL.md が存在し、有効な YAML フロントマターがある
• 名前が規約に準拠している（小文字、ハイフン、最大 64 文字）
• 説明があり、1024 文字未満である
• 本文が 500 行未満である
• ファイル参照が 1 階層の深さである

ステップ 2：手動評価

各項目を評価し、スコア（1～5）を付けます：

A. 命名（重み：10%）

スコア	基準
5	動名詞形（-ing）、目的が明確で覚えやすい
4	説明的で、規約に準拠している
3	許容範囲だが、さらに明確にできる
2	曖昧、または誤解を招く
1	命名規則に違反している

ルール：最大 64 文字、小文字＋数字＋ハイフンのみ、予約語（anthropic、claude）や XML タグは使用しないでください。

良い例：processing-pdfs、analyzing-spreadsheets、building-dashboards 悪い例：pdf、my-skill、ClaudeHelper、anthropic-tools

B. 説明（重み：20%）

スコア	基準
5	機能、具体的な起動条件、三人称表現が明確
4	適切な説明で、起動条件もいくつか含まれている
3	十分だが、起動条件がないか、曖昧
2	短すぎる、または目的が不明確
1	説明がない、または役に立たない

必須事項：スキルが何をするのか、いつ使うのかを含めてください。 良い例：「PDF からテキストを抽出します。テキスト抽出、フォーム解析、コンテンツ分析のために PDF 文書を扱う場合に使用します。」 悪い例：「PDF 用のスキルです。」または「文書作業を支援します。」

C. コンテンツの品質（重み：30%）

スコア	基準
5	簡潔で、Claude の知能を前提とし、実行可能な指示がある
4	全般的に良好で、冗長さはわずか
3	不要な説明や重複がある
2	冗長すぎる、または分かりにくい
1	無駄に長く、明らかな概念まで説明している

確認事項：「この説明は本当に Claude に必要ですか？」Claude がすでに知っていることはすべて削除してください。

D. 構造と整理（重み：25%）

スコア	基準
5	段階的な情報開示に優れ、ナビゲーションが明確で、長さも最適
4	整理されており、ファイル分割も適切
3	許容範囲だが、さらに整理できる
2	整理が不十分、参照が不足、または SKILL.md が肥大化している
1	構造がなく、すべてが SKILL.md に詰め込まれている

確認事項：

• SKILL.md が 500 行未満である
• 参照は 1 階層の深さである（入れ子の連鎖がない）
• 長い参照ファイル（100 行超）に目次がある
• すべてのパスでスラッシュを使用している

E. 自由度（重み：10%）

スコア	基準
5	最適：柔軟なタスクでは自由度が高く、壊れやすい操作では低い
4	自由度が概ね適切
3	許容範囲だが、さらに調整できる
2	不適切：厳格すぎる、または緩すぎる
1	タスクの種類に対して自由度が完全に不適切

ガイドライン：

• 自由度が高い（テキスト）：有効な方法が複数あり、状況に応じて異なる
• 自由度が中程度（パラメーター化）：望ましいパターンがあり、多少の変化は許容される
• 自由度が低い（特定のスクリプト）：壊れやすい操作で、正確な順序が必要

F. アンチパターンの確認（重み：5%）

見つかったアンチパターンごとに減点します：

• 明確な推奨がないまま選択肢が多すぎる（-1）
• 日付による条件分岐を含む、時期に左右される情報（-1）
• 用語が一貫していない（-1）
• Windows 形式のパス（バックスラッシュ）（-1）
• 参照が深く入れ子になっている（2 階層以上）（-2）
• エラー処理を Claude に丸投げするスクリプト（-1）
• 根拠のないマジックナンバー（-1）

ステップ 3：レポートを生成する

次のテンプレートを使用します。

# Skill Evaluation Report: [skill-name]

## Summary
- **Overall Score**: X.X/5.0
- **Recommendation**: [Ready for publication / Needs minor improvements / Needs major revision]

## Dimension Scores
| Dimension | Score | Weight | Weighted |
|-----------|-------|--------|----------|
| Naming | X/5 | 10% | X.XX |
| Description | X/5 | 20% | X.XX |
| Content Quality | X/5 | 30% | X.XX |
| Structure | X/5 | 25% | X.XX |
| Degrees of Freedom | X/5 | 10% | X.XX |
| Anti-Patterns | X/5 | 5% | X.XX |
| **Total** | | 100% | **X.XX** |

## Strengths
- [List 2-3 things done well]

## Areas for Improvement
- [List specific issues with actionable fixes]

## Anti-Patterns Found
- [List any anti-patterns detected]

## Recommendations
1. [Priority 1 fix]
2. [Priority 2 fix]
3. [Priority 3 fix]

## Pre-Publication Checklist
- [ ] Description is specific with activation triggers
- [ ] SKILL.md under 500 lines
- [ ] One-level-deep file references
- [ ] Forward slashes in all paths
- [ ] No time-sensitive information
- [ ] Consistent terminology
- [ ] Concrete examples provided
- [ ] Scripts handle errors explicitly
- [ ] All configuration values justified
- [ ] Required packages listed
- [ ] Tested with Haiku, Sonnet, Opus

スコアの解釈

スコア範囲	評価	対応
4.5 - 5.0	優秀	公開可能
4.0 - 4.4	良好	軽微な改善を推奨
3.0 - 3.9	許容範囲	複数の改善が必要
2.0 - 2.9	要改善	大幅な修正が必要
1.0 - 1.9	不良	根本的な再設計が必要

参考資料

• references/evaluation-criteria.md - 具体例を含む詳細な評価基準
• references/scoring-rubric.md - 完全な採点基準と例外的なケース

例

評価シナリオの例については、evaluations/ を参照してください。