prompt-test

/digital-marketing-pro:prompt-test

スクリプトの場所。 ホストが ${CLAUDE_PLUGIN_ROOT} を設定していない場合、スクリプトはこのプラグインの skills/ と同じ階層にある scripts/ フォルダーにあります。Python 3.10 以降で実行してください。python が見つからない場合は、python3 を使用してください（macOS、多くの Linux システム）。

目的

異なるプロンプトのアプローチ、見出しのスタイル、CTA の表現、またはコンテンツ戦略全体のバリエーションについて、品質スコアを比較してコンテンツ出力を A/B テストします。名前付きのテストを作成し、評価スコアとともにバリアントを記録して、どのアプローチが最も質の高い結果を生み出すかを判断します。

このコマンドにより、コンテンツ制作に実験的な厳密さを取り入れられます。どの見出しスタイル、件名のアプローチ、コンテンツ構成が最適かを推測するのではなく、構造化されたテストを実行します。実験を定義し、各バリアントとその品質スコアを記録して、どのアプローチを採用すべきかについて統計的な根拠に基づく推奨を得ます。件名のスタイル（好奇心を刺激するものと、メリットを訴求するもの）、見出しのアプローチ（疑問形、断定形、ハウツー形式）、CTA の表現（緊急性、価値、ソーシャルプルーフ）、トーンのバリエーション（フォーマル、会話調）、またはコンテンツ戦略全体の A/B 比較をテストするのに役立ちます。

必要な入力

ユーザーは以下を指定する必要があります（または、入力を求められます）。

• アクション：実行する操作 — create（新しいテストを設定）、log（既存のテストにバリアントを追加）、results（比較結果と勝者を取得）、または list（すべてのテストを表示）
• テスト名：実験を説明する名前（例：「第1四半期のメール件名のスタイル」、「ホームページの見出しのアプローチ」）— create、log、results で必須
• バリアントラベル：このバリアントを識別する名前（例：「A」、「B」、「C」、「コントロール」、「好奇心訴求」、「メリット訴求」）— log で必須
• バリアントのコンテンツ：評価対象の実際のコンテンツ — インラインテキスト、ファイルパス、または貼り付けたコンテンツブロック — log で必須
• バリアントの説明：このバリアントが表すアプローチや戦略についての簡単な説明（例：「製品に触れず、好奇心のギャップを利用」、「数値化されたメリットを冒頭で訴求」）— log で必須
• コンテンツタイプ：テスト対象のコンテンツの種類（メールの件名、見出し、広告コピー、CTA、記事全体など）— 任意。評価時のディメンションの重み付けに適用されます
• エビデンスファイル：テスト仮説の根拠となる補足データや調査資料 — 任意。評価時にコンテキストとして渡されます

プロセス

1. ブランドのコンテキストを読み込む：~/.claude-marketing/brands/_active-brand.json を読み込み、アクティブなスラッグを確認してから、~/.claude-marketing/brands/{slug}/profile.json を読み込みます。ブランドのトーン、対象市場向けのコンプライアンスルール（skills/context-engine/compliance-rules.md）、業界のコンテキストを適用します。~/.claude-marketing/brands/{slug}/guidelines/_manifest.json にガイドラインがあるか確認し、存在する場合は制約事項と関連カテゴリのファイル（トーンと文体のルール、メッセージの優先順位、チャネル別スタイルガイド）を読み込みます。~/.claude-marketing/brands/{slug}/templates/ にカスタムテンプレートがあるか確認します。~/.claude-marketing/sops/ に代理店の SOP があるか確認します。ブランドが存在しない場合は、「先にブランドを設定しますか（/digital-marketing-pro:brand-setup）？」と尋ねるか、デフォルト設定で続行します。
2. create アクションの場合：python "${CLAUDE_PLUGIN_ROOT}/scripts/prompt-ab-tester.py" --brand {slug} --action create-test --test-name "{name}" を実行して、新しいテストを設定します。このコマンドはメタデータ（作成日、ブランド、コンテンツタイプ）を含むテストレコードを初期化し、バリアントを記録できる状態にします。テストが作成されたことを確認し、log アクションを使って /digital-marketing-pro:prompt-test からバリアントを記録するようユーザーに伝えます。
3. log アクションの場合：まず、python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-runner.py" --brand {slug} --action run-quick --text "{content}" --content-type "{type}" を実行して、バリアントのコンテンツ品質を評価します（バリアントがファイルの場合は、--text の代わりに --file "{path}" を使用します）。このコマンドは、3 つのクイック評価項目（幻覚、コンテンツ品質、読みやすさ）ごとのスコアと総合スコアを生成します。注：run-quick はエビデンスファイルを無視します。エビデンスファイルが指定されていて、このテストで主張の検証が重要な場合は、代わりに --action run-full --evidence "{evidence_path}" を使用します。次に、python "${CLAUDE_PLUGIN_ROOT}/scripts/prompt-ab-tester.py" --brand {slug} --action log-variant --test-name "{name}" --variant "{label}" --data '{"description":"{description}","scores":{scores_json}}' を実行して、スコアとともにバリアントを記録します。追加のバリアントを記録する前に、今回のバリアントの評価結果を確認できるよう、個別スコアをすぐにユーザーに提示します。
4. results アクションの場合：python "${CLAUDE_PLUGIN_ROOT}/scripts/prompt-ab-tester.py" --brand {slug} --action get-results --test-name "{name}" を実行して、比較結果をすべて取得します。結果を分析します。
   • 総合スコアが最も高いバリアントを勝者として特定します。
   • 勝者と次点のスコア差（勝者との割合の差）を算出します。
   • 統計的有意性を評価します。バリアント間の差が 5% 以内の場合は、「判定が難しい」として、追加テストまたはタイブレーク基準を推奨します。
   • 評価項目ごとのパフォーマンスを内訳で示し、各バリアントの優れた点や劣る点を説明します（例：バリアント A はブランドのトーンで優れ、バリアント B は読みやすさで優れています）。
   • 勝者のアプローチのうち、今後のコンテンツに適用できる具体的な強みを特定します。
   • 設定済みの自動却下しきい値（デフォルトは 40。eval-config-manager.py で設定）を下回ったバリアントは、不適切なものとしてフラグを立てます。
5. list アクションの場合：python "${CLAUDE_PLUGIN_ROOT}/scripts/prompt-ab-tester.py" --brand {slug} --action list-tests を実行し、このブランドのすべてのテストと、そのステータス（進行中、完了）、バリアント数、作成日を表示します。
6. 明確な推奨事項とともに結果を提示する：調査結果を、意思決定にすぐ活用できる形式で要約します。勝者を示し、勝因を説明し、優位性を数値化し、留意点を明記したうえで、今後どのアプローチを採用すべきか具体的に推奨します。勝者のアプローチからパターンが見つかった場合（例：このブランドでは、好奇心を刺激する見出しよりもベネフィットを前面に出した見出しが一貫して優れている場合）は、再利用可能な知見として記載します。

出力

以下を含む、構造化されたテストレポートです。

• テストの概要：テスト名、コンテンツの種類、バリアント数、対象期間
• バリアントごとのスコアカード：各バリアントのラベル、説明、総合スコア、各評価軸（content_quality、brand_voice、hallucination_risk、claim_verification、output_structure、readability）の内訳
• 勝者の宣言：勝利したバリアント、差の大きさ、その差が統計的に有意かどうか
• 評価軸ごとの分析：各評価軸で優れているバリアントを示し、トレードオフを明らかにします（例：「バリアント B は content_quality のスコアが高い一方、バリアント A は brand_voice に優れています」）
• 信頼度：高（差が 15% 超）、中（差が 5～15%）、低（差が 5% 未満。追加テストを推奨）
• 具体的な推奨事項：採用すべきアプローチとその理由を明確に示し、今後のコンテンツに勝利したアプローチを適用する方法を案内します
• 再利用可能な知見：テストから得られた、より広範なコンテンツ戦略に活用できるパターンや原則
• 自動却下フラグ：品質しきい値を下回ったバリアントと、その具体的な理由

使用するエージェント

• quality-assurance -- 複数の評価軸で各バリアントのコンテンツ品質を評価し、採点の一貫性を保ち、品質上の問題を特定するとともに、評価基準がブランド基準に沿っていることを確認します
• content-creator -- ユーザーが自身のバージョンと比較するための AI 生成の代替案を求めた場合に、追加のバリアントコンテンツを作成し、生成したバリアントにブランドボイスを反映します