skill-eval-designer について
skill-eval-designer は、現実的なタスクでスキルがエージェントの振る舞いを変えるか検証するスキルです。肯定・否定プロンプト、行動のアサーション、成果物チェック、今後のテスト計画を作成します。
主な機能
- 01行動境界の定義
- 02肯定・否定プロンプトの作成
- 03行動アサーションと成果物チェック
- 04エッジケースと失敗要因の検討
- 05テスト用フィクスチャと今後の計画
活用シーン
- 01適切な状況でスキルが起動するかの検証
- 02安全でない出力や一般的すぎる出力の確認
- 03静的な例だけに頼らないスキル評価
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/インストール後、Claude Code で/skill-eval-designerを入力して読み込まれたか確認します。
同梱ファイルagents/openai.yamlreferences/skill-eval-systems.md
詳細
スキル評価の設計
このスキルを使って、現実的なタスクでエージェントの動作が変わることを検証します。
ワークフロー
- スキルの目的、トリガーの境界、期待する成果物、失敗モード、対象とするエージェントの動作を特定します。
references/skill-eval-systems.mdを読みます。- ポジティブプロンプト、ネガティブプロンプト、期待される動作のアサーション、成果物のチェックを作成します。
- 過剰なトリガー、不十分なトリガー、安全でない助言、参照情報の欠落、一般的すぎる出力に対するエッジケースを追加します。
- 評価用フィクスチャ、動作例、フォワードテスト計画を作成します。
使用しない場合
- スキルの手順自体を作成したり、マーケットプレイス全体を設計したり、静的な例だけで品質を主張したりするためには使用しないでください。
- 動作が完全に決定論的であり、ユニットテスト、コントラクトテスト、プロパティテスト、スナップショットテストのほうが強力なオラクルとなる場合は、評価を作成しないでください。
ガードレール
- スキル名が出力に含まれているかどうかだけで評価しないでください。
- 期待する回答をプロンプトに漏らさないでください。
- スキルがあらゆる場面でトリガーされないよう、ネガティブプロンプトを含めてください。
出力形式
Skill under eval:
Behavior boundary:
Positive prompts:
- <prompt> -> expected behavior
Negative prompts:
- <prompt> -> why skill should not trigger
Assertions:
- <observable behavior>
Forward-test plan:
- task, artifact, pass/fail evidence
コメント
Markdown 対応