skills-eval

スキルの評価と改善

使用しない場合

• 新しいスキルを作成する場合（abstract:skill-authoring を使用）
• フックを評価する場合（abstract:hooks-eval を使用）
• ルールを評価する場合（abstract:rules-eval を使用）

概要

このフレームワークは、品質基準に照らして Claude スキルを監査し、パフォーマンスの向上とトークン消費の削減を目指します。自動化ツールがスキルの構造を分析し、コンテキストの使用量を測定して、具体的な技術的改善点を特定します。修正が正しく機能することを確認するため、監査のたびに検証コマンドを実行してください。

skills-auditor は構造分析を行い、improvement-suggester は修正を影響度の高い順にランク付けします。準拠状況は compliance-checker で検証します。実行時の効率は tool-performance-analyzer と token-usage-tracker で監視します。

クイックスタート

基本的な監査

すべてのスキルを対象に監査を実行するか、特定のファイルを対象にして、構造上の問題を特定します。

# Audit all skills
make audit-all

# Audit specific skill
make audit-skill TARGET=path/to/skill/SKILL.md

分析と最適化

skill_analyzer.py で複雑さを確認し、token_estimator.py でコンテキストの予算を検証します。

make analyze-skill TARGET=path/to/skill/SKILL.md
make estimate-tokens TARGET=path/to/skill/SKILL.md

改善

improvement_suggester.py と compliance_checker.py を使用して、優先順位を付けた計画を生成し、基準への準拠を検証します。

make improve-skill TARGET=path/to/skill/SKILL.md
make check-compliance TARGET=path/to/skill/SKILL.md

評価ワークフロー

まず make audit-all を実行して、スキルの一覧を作成し、優先度の高い対象を特定します。対応が必要なスキルごとに、analyze-skill を実行して複雑さを把握します。改善計画を作成して修正を適用し、check-compliance を実行してスキルがプロジェクトの基準を満たしていることを検証します。最後にトークンの予算を確認して効率を高めます。

評価と最適化

品質評価では、skills-auditor と improvement-suggester を使用して詳細なレポートを作成します。パフォーマンス分析では、token-usage-tracker を使用してトークン効率を、tool-performance-analyzer を使用してツールのパフォーマンスを重点的に調べます。基準への準拠については、compliance-checker が構造上の問題に対する一般的な修正を自動化します。

スコアリングと優先順位付け

スキルを、構造の準拠、コンテンツの品質、トークン効率、起動の信頼性、ツール統合の5つの観点で評価します。スコアが90を超えるスキルは本番環境で使用できる品質を備えています。50未満の場合は、早急な対応が必要な重大な問題があることを示します。

改善は影響度に応じて優先順位を付けます。重大な問題には、セキュリティ上の脆弱性や機能の破損が含まれます。優先度の高い項目には、見つけやすさを損なう構造上の欠陥が含まれます。中程度および低い優先度では、ベストプラクティスや軽微な最適化に重点を置きます。

構造パターン

非推奨：skills/shared/modules/ ディレクトリ。共有モジュールは、利用するスキル自身の modules/ ディレクトリに移動する必要があります。skills/shared/ が残っている場合、評価ツールは構造上の警告として指摘します。

現行：各スキルは、自身のモジュールを skills/<skill-name>/modules/ に保持します。スキル間の参照には相対パスを使用します（例：../skill-authoring/modules/description-writing.md）。

リソース

共有モジュール：スキル間のパターン

• スキルの選択：skill-selection-judgment.md を参照
• トリガーパターン：trigger-patterns.md を参照

スキル固有のモジュール

• トリガー分離分析：modules/trigger-isolation-analysis.md を参照
• 作成チェックリスト：modules/authoring-checklist.md を参照
• 評価ワークフロー：modules/evaluation-workflows.md を参照
• 高度なツール使用分析：modules/advanced-tool-use-analysis.md を参照
• 評価フレームワーク：modules/evaluation-framework.md を参照
• 統合パターン：modules/integration.md を参照
• トラブルシューティング：modules/troubleshooting.md を参照
• 負荷テスト：modules/pressure-testing.md を参照
• 統合テスト：modules/integration-testing.md を参照
• パフォーマンスベンチマーク：modules/performance-benchmarking.md を参照

ツールと自動化

• ツール：scripts/ ディレクトリ内の実行可能な分析ユーティリティです。
• 自動化：scripts/automation/ 内のセットアップおよび検証スクリプトです。

終了条件

• 監査対象となるすべてのスキルについて、5 つの評価項目（構造への準拠、コンテンツの品質、トークン効率、アクティベーションの信頼性、ツール統合）すべてのスコアが付与され、合計が 100 点になります。
• 非推奨の skills/shared/ モジュール参照があるスキルは、監査出力で構造上の警告として一覧表示されます。
• 合格と報告されたスキルに対して make check-compliance TARGET=<skill> が終了コード 0 で終了し、コンプライアンスチェッカーが監査スコアと一致することを確認できます。
• 75 点未満のスキルについては改善計画が作成され、指摘事項は優先度の高い順（critical > high > medium > low）に並べられます。