skill-eval-scaffolder

Skill Eval Scaffolder

リポジトリのスキル用に、最小限でスキーマに準拠した評価マニフェストを作成します。

対象範囲： 評価の足場作りのみです。メンテナーが明示的に承認しない限り、実際の動作評価は実行しないでください。

ディスパッチ

$ARGUMENTS	アクション
<name>	skills/<name>/evals/evals.json の足場をプレビューします
<name> --apply	ファイルが存在しない場合、またはユーザーが上書きを承認した場合に足場を書き込みます
check <name>	既存の評価マニフェストを検証します
空	使用例ギャラリーとマニフェストのスキーマ概要を表示します

ワークフロー

1. skills/<name>/SKILL.md が存在することを確認します。
2. 同梱の足場作成スクリプトを実行します。

uv run python skills/skill-eval-scaffolder/scripts/scaffold_evals.py <name>

3. 十分なカバレッジがあると主張する前に、明示的ケース、暗黙的ケース、ネガティブコントロールケースを追加します。
4. 同梱のチェック用スクリプトで検証します。

マニフェストの形式

各 evals/evals.json には、以下を使用します。

• skill_name — ディレクトリ名（ケバブケース）
• evals — id、prompt、expected_output と、任意の files、assertions を含む空でないケースのリスト

検証の要件

uv run python skills/skill-eval-scaffolder/scripts/check.py

重要なルール

1. ユーザーの明示的な承認なしに、既存の評価マニフェストを上書きしないでください。
2. 新しい足場には、少なくとも1つの明示的な呼び出しケースを含めてください。
3. 足場の完成を宣言する前に、validate_evals.py を実行してください。
4. 実際の評価の実行は、skill-creator の eval モードまたはメンテナーの CI ワークフローに委ねてください。
5. プロンプトは、スキルのディスパッチテーブルと「対象外」の境界に沿った内容にしてください。