skill-grader について
Claude Agent Skills を評価するための構造化された採点基準です。サブエージェントや専門知識が限られたレビュアー向けに、10 項目の評価と具体的な改善提案を提供します。
主な機能
- 0110 項目でスキルを評価
- 02項目別と総合の評点
- 03重み付きの総合点計算
- 04具体的な改善提案
- 05スキルライブラリの簡易評価
活用シーン
- 01個別スキルの品質監査
- 02スキル比較と修正優先度の決定
- 03スキルライブラリ全体の品質確認
- 04改善ロードマップの作成
インストール
コマンドをコピーしてターミナルで実行します。
npx skills add https:/インストール後、Claude Code で/skill-graderを入力して読み込まれたか確認します。
同梱ファイル.claude-plugin/plugin.jsonCHANGELOG.md
詳細
スキル評価ツール
Claude Agent Skills 向けの構造化評価基準です。10 の評価軸それぞれと総合評価について、A+ から F までの成績を付け、各評価軸の具体的な改善案を提示します。
専門知識がなくても、スキルの品質を機械的かつ再現可能な方法で評価する必要があるサブエージェントや専門外のレビュー担当者向けに設計されています。
使用するタイミング
✅ 次の場合に使用します：
- 単一のスキルの品質を監査するとき
- 複数のスキルを比較するとき
- どのスキルから先に改善するかを決めるとき
- スキルライブラリ全体の品質管理を行うとき
- 改善ロードマップを作成するとき
❌ 次の場合は使用しません：
- 新しいスキルを作成するとき（
skill-architectを使用してください） - コード品質やスキル以外のドキュメントを評価するとき
- エージェントのパフォーマンスを評価するとき（スキルの品質とは異なります）
評価プロセス
flowchart TD
A[Read SKILL.md + all files] --> B[Score each of 10 axes]
B --> C[Assign letter grade per axis]
C --> D[Compute overall grade]
D --> E[Write improvement recommendations]
E --> F[Produce grading report]
手順
- スキルフォルダー全体を読む — SKILL.md、すべてのリファレンス、スクリプト、CHANGELOG、README
- 各評価軸を採点する — 以下の評価基準を使用（各評価軸を 0～100 点で採点）
- レター評価に変換する — 評価スケールを参照
- 総合評価を算出する — 加重平均（Description と Scope は重み 2 倍）
- B+ 未満の評価軸ごとに、具体的な改善案を 1～3 件記載する
- 以下の出力形式で評価レポートを作成する
10 の評価軸
評価軸 1：説明の品質（重み：2 倍）
説明は [What] [When] [Keywords]. NOT for [Exclusions] の形式に従っていますか？
| 評価 | 基準 |
|---|---|
| A | 具体的な動詞＋名詞、ユーザーが入力するドメインキーワード、明示的な NOT 除外項目が 2～5 件、25～50 語 |
| B | キーワードと NOT 節があるものの、やや曖昧、または同義語の網羅性が不足している |
| C | 抽象的すぎる、NOT 節がない、またはプロセスの説明が 100 語を超える |
| D | 曖昧な一文だけ（「X に役立つ」など）、または名前と説明が一致していない |
| F | 説明がない、または空欄 |
評価軸 2：スコープの明確さ（重み：2 倍）
スキルは 1 種類の専門知識に絞られていますか。それとも何でも扱う内容になっていますか？
| 評価 | 基準 |
|---|---|
| A | 明確な専門領域が 1 つあり、「使用するタイミング」と「対象外」のセクションがどちらも存在し、具体的である |
| B | ほぼ焦点が絞られているが、境界がやや曖昧 |
| C | 関連はあるものの異なる領域を 2～3 件扱っており、おそらく分割するべきである |
| D | 「X に関するあらゆることに役立つ」ような、何でも扱うスキル |
| F | スコープの境界がまったく定義されていない |
評価軸 3：段階的な情報開示
スキルは 3 層アーキテクチャ（メタデータ → SKILL.md → リファレンス）に従っていますか？
| 評価 | 基準 |
|---|---|
| A | SKILL.md が 300 行未満で、詳細な内容はリファレンスにあり、SKILL.md に 1 行の説明付きリファレンス索引がある |
| B | SKILL.md が 500 行未満で、一部のリファレンスを使用し、索引がある |
| C | SKILL.md が 500 行を超える、またはリファレンスを使わず、すべての内容を本文に含めている |
| D | SKILL.md が 800 行を超える、またはリファレンスはあるが SKILL.md に索引がない |
| F | 構造のない巨大な単一ファイル |
評価軸 4：アンチパターンへの対応
よくある間違いを防ぐ専門知識がスキルに記載されていますか？
| 評価 | 基準 |
|---|---|
| A | Novice/Expert/Timeline テンプレートと LLM の間違いに関する注意事項を用いて、3 件以上のアンチパターンを説明している |
| B | 1～2 件のアンチパターンを明確に説明している |
| C | アンチパターンに触れているが、構造化されたテンプレートがない |
| D | アンチパターンがなく、肯定的な指示だけがある |
| F | アンチパターンにあたる助言（時代遅れ、または有害）を含んでいる |
評価軸 5：自己完結型ツール
スキルに動作するツール（スクリプト、MCP、サブエージェント）が含まれていますか？
| 評価 | 基準 |
|---|---|
| A | CLI インターフェースとエラー処理、依存関係の説明を備えた動作するスクリプトがある、または「ツールは不要」と妥当な理由を示している |
| B | スクリプトが存在し、動作するが、エラー処理や説明が不足している |
| C | スクリプトに言及しているが、テンプレートや擬似コードである |
| D | 存在しないファイルを SKILL.md が参照している |
| F | 存在しないツールを参照しているうえ、その説明もない |
注：すべてのスキルにツールが必要なわけではありません。純粋な意思決定ツリー型のスキルは、ツールが該当しない場合、A 評価を得られます。
軸 6：アクティベーションの精度
関連するクエリでスキルが正しく起動し、関連しないクエリでは起動しないようになっていますか？
| 評価 | 基準 |
|---|---|
| A | ユーザーの言葉に一致する具体的なキーワードがあり、明確な NOT 条項があり、明らかな誤検出の要因がない |
| B | 適切なキーワードがあり、誤検出のリスクはわずか |
| C | 他のスキルと重複する一般的なキーワードがある |
| D | 具体的なキーワードがない、または NOT 条項が意図された用途と矛盾している |
| F | 説明によって常に誤って起動する |
軸 7：視覚的な成果物
スキルは Mermaid 図、コード例、表を効果的に活用していますか？
| 評価 | 基準 |
|---|---|
| A | 意思決定ツリーを Mermaid のフローチャートで示し、比較には表を使い、具体的なパターンにはコード例を使っている |
| B | 図や表は一部にあるが、重要な意思決定ツリーが依然として文章で説明されている |
| C | 表は使われているが、プロセスを示す Mermaid 図はない |
| D | 文章のみで、視覚的な構成がない |
| F | 書式上の補助がない長文 |
軸 8：出力の契約
スキルは、他のエージェントが利用できる形式で生成物を定義していますか？
| 評価 | 基準 |
|---|---|
| A | 明示的な出力形式（JSON スキーマ、Markdown テンプレート、構造化されたセクションなど）があり、サブエージェントが利用できる |
| B | 出力形式は暗示されているが、明示的に文書化されていない |
| C | 出力形式はないが、内容が十分に構造化されており推測できる |
| D | 構造化されていない文章の出力が想定されている |
| F | 該当なし（純粋なリファレンススキル） — この軸は免除 |
軸 9：時間的な認識
スキルは、知識がいつ時点のものか、また何が変更されたかを追跡していますか？
| 評価 | 基準 |
|---|---|
| A | アンチパターンに時系列があり、「[date] 時点」のマーカーや日付付きの CHANGELOG がある |
| B | 時間的な情報が一部あり、CHANGELOG も存在する |
| C | 知識に日付はないが、CHANGELOG は存在する |
| D | 時間的な情報がまったくなく、知識が古くなっている可能性がある |
| F | 警告なしに、明らかに古い助言が含まれている |
軸 10：ドキュメントの品質
README、CHANGELOG、リファレンスの構成。
| 評価 | 基準 |
|---|---|
| A | クイックスタート付きの README、日付付きバージョンを記載した CHANGELOG、明確なファイル名で整理されたリファレンスがある |
| B | README と CHANGELOG があり、リファレンスも用意されている |
| C | SKILL.md のみだが、構成は適切 |
| D | README がなく、CHANGELOG もなく、リファレンスが整理されていない |
| F | SKILL.md のみで、構成も不適切 |
評価スケール
| 評価 | スコア範囲 | 意味 |
|---|---|---|
| A+ | 97-100 | 模範的 — 標準となる水準 |
| A | 93-96 | 優秀 — わずかな改善の余地がある |
| A- | 90-92 | 非常に良好 — 小さな不足がいくつかある |
| B+ | 87-89 | 良好 — 改善の余地が目立つ |
| B | 83-86 | 堅実 — いくつかの領域で改善が必要 |
| B- | 80-82 | 平均以上 — 意味のある不足がある |
| C+ | 77-79 | 平均的 — 大幅な改善が必要 |
| C | 73-76 | 平均以下 — 大きな不足がある |
| C- | 70-72 | ぎりぎり許容できる |
| D+ | 67-69 | 低評価 — 根本的な問題がある |
| D | 63-66 | 非常に低評価 — 大幅なやり直しが必要 |
| D- | 60-62 | 不合格に近い品質 |
| F | <60 | 不合格 — 最初からやり直す |
総合評価の算出
軸 1（説明）と軸 2（スコープ）は 2 倍の重み とします。それ以外はすべて 1 倍の重みです。軸 8（出力の契約）が免除とされた場合は、計算から除外してください。
Overall = (2×Axis1 + 2×Axis2 + Axis3 + Axis4 + Axis5 + Axis6 + Axis7 + Axis8 + Axis9 + Axis10) / 12
上記のスケールを使って、数値平均を評価文字に換算してください。
出力形式
次の構造をそのまま出力してください。
# Skill Grading Report: [skill-name]
**Graded**: [date]
**Overall Grade**: [letter] ([score]/100)
## Axis Grades
| # | Axis | Grade | Score | Key Finding |
|---|------|-------|-------|-------------|
| 1 | Description Quality | [grade] | [score] | [1-line finding] |
| 2 | Scope Discipline | [grade] | [score] | [1-line finding] |
| 3 | Progressive Disclosure | [grade] | [score] | [1-line finding] |
| 4 | Anti-Pattern Coverage | [grade] | [score] | [1-line finding] |
| 5 | Self-Contained Tools | [grade] | [score] | [1-line finding] |
| 6 | Activation Precision | [grade] | [score] | [1-line finding] |
| 7 | Visual Artifacts | [grade] | [score] | [1-line finding] |
| 8 | Output Contracts | [grade] | [score] | [1-line finding] |
| 9 | Temporal Awareness | [grade] | [score] | [1-line finding] |
| 10 | Documentation Quality | [grade] | [score] | [1-line finding] |
## Top 3 Improvements (Highest Impact)
1. **[Axis]: [Specific action]** — [Why this matters, expected grade improvement]
2. **[Axis]: [Specific action]** — [Why this matters, expected grade improvement]
3. **[Axis]: [Specific action]** — [Why this matters, expected grade improvement]
## Detailed Notes
### [Axis name] ([grade])
[2-3 sentences of specific feedback with examples from the skill]
[Repeat for each axis scoring below B+]
簡易評価（省略版）
多数のスキルを迅速にトリアージする場合は、次だけを出力してください。
| Skill | Overall | Desc | Scope | Disc | Anti | Tools | Activ | Visual | Output | Temp | Docs |
|-------|---------|------|-------|------|------|-------|-------|--------|--------|------|------|
| [name] | [grade] | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... |
評価におけるアンチパターン
評価の甘さ
誤り：「かなり良い」という理由だけで、基準を確認せずに B+ を付けること。 正しい対応：観察結果をルーブリックの表に文字どおり照らし合わせてください。説明に NOT 条項がなければ、軸 1 の評価は C を超えられません。
コンテキストの不足
誤り：スクリプトがないという理由で、純粋な意思決定ツリー型スキルを軸 5（ツール）で低く評価する。 正解：軸 5 を「A — このスキルの種類にはツールが該当しない」と評価します。
存在しないファイルを見落とす
誤り：スクリプトが「参照されている」という理由で、軸 5 を B と評価する。
正解：参照されているファイルがすべて存在するか、実際に確認します。scripts/validate.py が記載されているのに存在しない場合は、D です。