skill-validator

スキルバリデーター

あらゆるスキルを本番環境レベルの品質基準に照らして検証します。

実装前

ソース	収集する情報
スキルディレクトリ	SKILL.md、references/、scripts/、assets/
スキルの種類	ビルダー、ガイド、自動化、アナライザー、またはバリデーター
会話	検証の目的（監査、改善、レビュー）

このスキルで行わないこと

• 本番環境でスキルをテストする
• 特定した問題を自動修正する
• スキルの実行時の動作を検証する（構造と内容のみ）
• ドメインの正確性に関する人間の判断に取って代わる

検証ワークフロー

フェーズ 1：コンテキストの収集

1. スキルの SKILL.md を最初から最後まで読む
2. frontmatter の説明からスキルの種類を特定する：
   • ビルダースキル（成果物を作成する）
   • ガイドスキル（手順を提供する）
   • 自動化スキル（ワークフローを実行する）
   • アナライザースキル（知見を抽出する）
   • バリデータースキル（品質を保証する）
   • ハイブリッドスキル（上記の組み合わせ）
3. references/ ディレクトリ内の参照ファイルをすべて読む
4. assets/ と scripts/ ディレクトリの有無を確認する
5. frontmatter のフィールド（name、description、allowed-tools、model）を記録する

フェーズ 2：基準の適用

9 つの基準カテゴリに照らして評価します。各基準を 0～3 点で採点します。

• 0：欠落／存在しない
• 1：存在するが不十分
• 2：適切に実装されている
• 3：優れた実装

---

基準カテゴリ

1. 構造と構成（重み：12%）

基準	確認事項
SKILL.md が存在する	ルートファイルがある
行数	500 行未満（コンテキストは貴重です）
frontmatter が完全である	YAML に name と description がある
名前の制約	1～64 文字、小文字の英数字とハイフンのみ、連続するハイフンは禁止、ハイフンで始まる／終わる名前は禁止、ディレクトリ名と一致すること
説明の形式	[内容] + [使用する状況] の形式、1024 文字以下
説明の文体	三人称：「This skill should be used when...」
不要なファイルがない	スキルディレクトリに README.md、CHANGELOG.md、LICENSE がない
段階的な情報開示	詳細は肥大化した SKILL.md ではなく references/ に記載する
アセットの整理	テンプレートは assets/、スクリプトは scripts/ に配置する
大容量ファイルの案内	references/ が 10k 語を超える場合、SKILL.md に grep パターンを記載する

失格条件：SKILL.md がない、または 800 行を超える場合は自動的に失格

2. 内容の品質（重み：15%）

基準	確認事項
簡潔さ	冗長な説明がなく、コンテキストは公共の財産である
命令形	指示には「X を実行する」を使い、「X を実行してください」は使わない
適切な自由度	必要な箇所には制約を設け、安全な箇所には柔軟性を持たせる
対象範囲の明確さ	スキルで行うことと行わないことが明確である
幻覚のリスクがない	情報の捏造を促す指示がない
出力仕様	期待される出力が明確に定義されている

3. ユーザーとのやり取り（重み：12%）

基準	確認事項
確認が必要な状況	曖昧な点がある場合、実行前に質問する
必須と任意の区別	必須情報と、あると望ましい情報を区別する
柔軟な対応	ユーザーから回答がない場合の対応が定められている
質問のしすぎがない	明白なことや推測できることを尋ねない
質問のペース	1 回のメッセージで質問しすぎない
コンテキストの認識	質問する前に、利用可能なコンテキストを活用する

確認する主なパターン：

## Required Clarifications
1. Question about X
2. Question about Y

## Optional Clarifications
3. Question about Z (if relevant)

Note: Avoid asking too many questions in a single message.

4. ドキュメントと参照資料（重み：10%）

基準	確認事項
ソース URL	公式ドキュメントへのリンクが記載されている
参照ファイル	複雑な詳細はメインファイルではなく references/ に記載する
取得に関する案内	記載されていないパターンのドキュメントを取得する指示がある
バージョンへの配慮	最新のパターンを確認する旨が記載されている
例の充実度	重要なパターンについて、良い例と悪い例がある

確認する主なパターン：

| Resource | URL | Use For |
|----------|-----|---------|
| Official Docs | https://... | Complex cases |

5. ドメイン標準（配点：10%）

評価基準	確認項目
ベストプラクティス	ドメインの規約（例：WCAG、OWASP）に準拠している
適用の仕組み	チェックリスト、検証手順、必ず確認すべき項目
アンチパターン	やってはいけないことを列挙している
品質ゲート	提出前の出力チェックリスト

探すべき主なパターン：

### Must Follow
- [ ] Requirement 1
- [ ] Requirement 2

### Must Avoid
- Antipattern 1
- Antipattern 2

6. 技術的な堅牢性（配点：8%）

評価基準	確認項目
エラー処理	失敗時のシナリオに関するガイダンス
セキュリティ上の考慮事項	該当する場合の入力検証、シークレットの取り扱い
依存関係	外部ツール／APIが文書化されている
エッジケース	よくあるエッジケースに対応している
テスト可能性	出力を検証できる

7. 保守性（配点：8%）

評価基準	確認項目
モジュール性	参照資料が自己完結したトピックになっている
更新方法	標準の変更時に簡単に更新できる
ハードコードされた値がない	適切な場合にプレースホルダー／変数を使用している
明確な構成	セクションが論理的な順序で並んでいる

8. ゼロショット実装（配点：12%）

スキルは、専門知識を組み込むことで、1回のやり取りでの実装を可能にする必要があります。

評価基準	確認項目
実装前セクション	コンテキスト収集のガイダンスが含まれている
コードベースのコンテキスト	既存の構造／パターンを調べるためのガイダンスがある
会話のコンテキスト	話し合った要件／決定事項を活用している
組み込みの専門知識	実行時に発見するのではなく、ドメイン知識が references/ に含まれている
ユーザーにのみ確認する質問	ドメイン知識ではなく、ユーザーの要件のみを尋ねる

探すべき主なパターン：

## Before Implementation

Gather context to ensure successful implementation:

| Source | Gather |
|--------|--------|
| **Codebase** | Existing structure, patterns, conventions |
| **Conversation** | User's specific requirements |
| **Skill References** | Domain patterns from `references/` |
| **User Guidelines** | Project-specific conventions |

要注意：スキルが、ドメイン知識を組み込む代わりに、実行時に「調査」または「発見」するよう指示している。

9. 再利用性（配点：13%）

スキルは単一の要件だけでなく、さまざまな条件に対応できる必要があります。

評価基準	確認項目
さまざまな条件への対応	単一のユースケースにハードコードされていない
可変要素	変化する要素を明確化している
固定パターン	ドメインのベストプラクティスを固定要素として組み込んでいる
特定の要件に依存しない	データ、ツール、設定をハードコードしていない
抽象化のレベル	ドメインに適した一般化がなされている

良い例：

"Create visualizations - adaptable to data shape, chart type, library"

悪い例（具体的すぎる）：

"Create bar chart with sales data using Recharts"

重要な確認事項：そのスキルは、対象ドメイン内の複数のユースケースで機能するか？

---

種類別の検証

一般的な評価基準の採点後、種類ごとの要件を確認します。

種類	必須項目
ビルダー	明確化、出力仕様、ドメイン標準、出力チェックリスト
ガイド	ワークフローの手順、例（良い例／悪い例）、公式ドキュメントへのリンク
自動化	scripts/ 内のスクリプト、依存関係、エラー処理、入出力仕様
アナライザー	分析範囲、評価基準、出力形式、統合
バリデーター	品質基準、採点基準、しきい値、修正方法

採点：特定された種類に必要な要件が欠けている場合は、10点を減点します。

---

採点ガイド

カテゴリー別スコア

各カテゴリーのスコアを計算します：

Category Score = (Sum of criterion scores) / (Max possible) * 100

総合スコア

Overall = Σ(Category Score × Weight)

評価のしきい値

スコア	評価	意味
90-100	本番利用可能	広く利用できる状態
75-89	良好	軽微な改善が必要
60-74	十分	機能するが、改善が必要
40-59	開発中	大きな不足がある
0-39	未完成	大幅な作り直しが必要

---

出力形式

検証レポートを生成します：

# Skill Validation Report: [skill-name]

**Rating**: [Production/Good/Adequate/Developing/Incomplete]
**Overall Score**: [X]/100

## Summary
[2-3 sentence assessment]

## Category Scores

| Category | Score | Weight | Weighted |
|----------|-------|--------|----------|
| Structure & Anatomy | X/100 | 12% | X |
| Content Quality | X/100 | 15% | X |
| User Interaction | X/100 | 12% | X |
| Documentation | X/100 | 10% | X |
| Domain Standards | X/100 | 10% | X |
| Technical Robustness | X/100 | 8% | X |
| Maintainability | X/100 | 8% | X |
| Zero-Shot Implementation | X/100 | 12% | X |
| Reusability | X/100 | 13% | X |
| **Type-Specific Deduction** | -X | - | -X |

## Critical Issues (if any)
- [Issue requiring immediate fix]

## Improvement Recommendations
1. **High Priority**: [Specific action]
2. **Medium Priority**: [Specific action]
3. **Low Priority**: [Specific action]

## Strengths
- [What skill does well]

---

簡易検証チェックリスト

迅速に評価するには、次の重要項目を確認します。

構成とフロントマター

• SKILL.md が500行未満
• フロントマターに name（64文字以下、小文字、ハイフン）と description（1024文字以下）がある
• description が三人称形式（「This skill should be used when...」）になっている
• スキルディレクトリに README.md／CHANGELOG.md がない

コンテンツとインタラクション

• 明確化の質問がある（必須と任意）
• 出力仕様がある
• 公式ドキュメントへのリンクがある

ゼロショットと再利用性

• 「実装前」セクションがある（コンテキストの収集）
• ドメインの専門知識が references/ に組み込まれている（実行時の検索ではない）
• 要件固有ではなく、さまざまなケースに対応している

種類別（スキルの種類に応じて確認）

• Builder：明確化＋出力仕様＋標準＋チェックリスト
• Guide：ワークフロー＋例＋ドキュメント
• Automation：スクリプト＋依存関係＋エラー処理
• Analyzer：範囲＋基準＋出力形式
• Validator：基準＋スコアリング＋しきい値＋改善策

10項目以上にチェック：本番品質の可能性が高い（90以上） 7～9項目にチェック：良好な可能性が高い（75～89） 5～6項目にチェック：十分な可能性が高い（60～74） 5項目未満にチェック：大幅な改善が必要

---

参照ファイル

ファイル	読み込むタイミング
references/detailed-criteria.md	特定の基準を詳細に評価するとき
references/scoring-examples.md	評価の調整に使う検証例
references/improvement-patterns.md	よくある問題に対する一般的な修正方法

---

使用例

スキルを検証する

Validate the chatgpt-widget-creator skill against production criteria

簡易監査

Quick validation check on mcp-builder skill

対象を絞ったレビュー

Check if skill-creator skill has proper user interaction patterns