subagent-testing

サブエージェントテスト - スキルの TDD

新しいサブエージェントのインスタンスを使ってスキルをテストし、プライミングバイアスを防ぎ、効果を検証します。

使用しない場合

• テスト対象のスキルを作成するとき（abstract:skill-authoring を使用）
• 実行を伴わない静的な品質監査を行うとき（abstract:skills-eval を使用）

概要

新しいインスタンスでプライミングを防止： 各テストでは新しい Claude の会話を使用し、スキルの影響を測定し、会話履歴の影響を測定していないことを確認します。

新しいインスタンスが重要な理由

プライミングの問題

同じ会話内でテストを実行すると、バイアスが生じます。

• 以前のコンテキストが応答に影響します
• スキルの効果が会話履歴と混在します
• スキル本来の影響を切り分けられません

新しいインスタンスを使うメリット

• 分離： 各テストをクリーンな状態から開始します
• 再現性： 一貫したベースライン状態を保ちます
• 測定： 前後を明確に比較できます
• 検証： プライミングではなく、スキルの効果を証明します

テスト方法

TDD スタイルの 3 フェーズアプローチです。

フェーズ 1：ベースラインテスト（RED）

スキルを使わずにテストし、ベースラインの動作を確立します。

フェーズ 2：スキルを使ったテスト（GREEN）

スキルを読み込んでテストし、改善を測定します。

フェーズ 3：正当化への対処テスト（REFACTOR）

スキルの正当化を防ぐガードレールをテストします。

クイックスタート

# 1. Create baseline tests (without skill)
# Use 5 diverse scenarios
# Document full responses

# 2. Create with-skill tests (fresh instances)
# Load skill explicitly
# Use identical prompts
# Compare to baseline

# 3. Create rationalization tests
# Test anti-rationalization patterns
# Verify guardrails work

詳細なテストガイド

テストパターン、例、テンプレートの全容については、以下を参照してください。

• テストパターン - TDD 方法論の全容
• テスト例 - ベースライン、スキル使用時、正当化テスト
• 分析テンプレート - 採点と比較のフレームワーク

成功基準

• ベースライン： 多様なベースラインシナリオを 5 件以上記録します
• 改善： スキル関連の指標が 50％以上改善します
• 一貫性： 新しいインスタンスを使っても結果を再現できます
• 正当化への防御： ガードレールにより、正当化の試みの 80％以上を防ぎます

関連項目

• skill-authoring：効果的なスキルの作成
• test-skill：スキルを自動テストするコマンド

終了基準

• ベースライン（RED）フェーズでは、スキルを有効にせず、新しい Claude のインスタンスで実行した多様なシナリオを 5 件以上記録し、応答全文を保存します。
• スキル使用時（GREEN）フェーズでは、新しいインスタンスで同一のプロンプトを使用します（ベースラインの会話を続けるのではありません）。スキル関連の指標が 50％以上改善していることを示します。
• 正当化への対処（REFACTOR）フェーズでは、少なくとも 3 件の圧力シナリオでテストした正当化の試みの 80％以上を、スキルのガードレールが阻止することを示します。
• 結果が再現可能であることを確認します。新しいインスタンスで同じプロンプトを使用しても、一貫した結果が得られ、会話履歴によるプライミングが影響していないことを確かめます。