eval-suite

/digital-marketing-pro:eval-suite

スクリプトの場所。 ホストで ${CLAUDE_PLUGIN_ROOT} が設定されていない場合、スクリプトはこのプラグインの scripts/ フォルダー（skills/ と同じ階層）にあります。Python 3.10 以降で実行してください。python、または python が見つからない場合は python3 を使用してください（macOS、多くの Linux システム）。

目的

複数のコンテンツを一括で評価し、ポートフォリオ全体の品質評価を作成します。コンテンツライブラリ全体、キャンペーンの全アセット、または一連の納品物を1回の実行で評価できます。コンテンツを1つずつ評価するのではなく、すべてをまとめて処理し、コンテンツ品質を包括的に把握できます。

出力には、コンテンツのランキング、評価軸ごとの分析、全体的な品質分布、対象セットに共通する問題、優先順位付けされた修正リストが含まれます。キャンペーン開始前（公開前に品質の低いアセットを見つけるため）、コンテンツ監査中（ライブラリの健全性を評価するため）、または制作スプリント後（すべての納品物を一度に品質チェックするため）に使用するコマンドです。すべての評価は品質トラッカーに記録され、長期的な傾向分析に活用されます。

必要な入力

ユーザーは次の情報を指定する必要があります（指定されていない場合は、入力を求められます）。

• コンテンツソース：次のいずれか1つ以上：
  • ファイルパスのリスト（例：「次の5つのファイルを評価してください：email-v1.txt、email-v2.txt、landing-page.html、ad-copy-fb.txt、ad-copy-google.txt」）
  • ディレクトリパス（例：「/campaign-q1-assets/ 内のすべてを評価してください」）— ディレクトリ内のテキストベースのファイルがすべて含まれます
  • ラベル付きの複数のインラインコンテンツブロック（例：「次の内容を評価してください：[ラベル：ホームページのヒーロー] コンテンツ... [ラベル：メールの件名] コンテンツ...」）
• コンテンツタイプ：任意 — 全体に適用するか（例：「これらはすべてメールの件名です」）、項目ごとに指定します。省略した場合、評価者がコンテンツの特徴からタイプを推定します
• エビデンスファイル：任意 — より適切なスコアリングを行うため、すべての評価に適用する共通のコンテキスト文書（ブリーフ、戦略文書、オーディエンス調査など）
• 評価の深さ：任意 — quick（デフォルト。項目ごとの評価が高速）または full（包括的な評価で、項目ごとに評価軸別の詳細なコメントを含む）。10項目を超えるセットには quick、重要なキャンペーンアセットには full を推奨します
• 自動却下のしきい値：任意 — この複合スコアを下回るコンテンツは、必須の修正が必要としてフラグ付けされます（デフォルト：60）
• 比較ベースライン：任意 — 比較対象となる過去の eval-suite 実行 ID。コンテンツごとの改善または悪化を確認できます

プロセス

1. ブランドコンテキストを読み込む: ~/.claude-marketing/brands/_active-brand.json を読み、アクティブなスラッグを確認してから、~/.claude-marketing/brands/{slug}/profile.json を読み込みます。ブランドボイス、ターゲット市場向けのコンプライアンスルール（skills/context-engine/compliance-rules.md）、業界コンテキストを適用します。~/.claude-marketing/brands/{slug}/guidelines/_manifest.json にガイドラインがあるか確認し、存在する場合は制約と該当するカテゴリーファイル（ボイスとトーン、メッセージング、チャネルスタイル）を読み込みます。カスタムテンプレートが ~/.claude-marketing/brands/{slug}/templates/ にあるか確認します。代理店の SOP が ~/.claude-marketing/sops/ にあるか確認します。ブランドが存在しない場合は、「先にブランドを設定しますか（/digital-marketing-pro:brand-setup）？」と尋ねるか、デフォルト設定で続行します。
2. すべてのコンテンツ項目を列挙する: 提供されたソースを、コンテンツ項目のフラットなリストに変換します。ディレクトリパスの場合は、テキストベースのファイル（.txt、.md、.html、.csv の各行）をスキャンします。インラインコンテンツの場合は、ラベルとコンテンツブロックを解析します。各項目にラベル（ファイル名、指定されたラベル、または自動生成したインデックス）を割り当てます。処理を続ける前に、項目の合計数をユーザーに報告し、25 項目を超える場合は処理時間の見込みを共有します。
3. 各コンテンツ項目を評価する: 項目ごとに、ファイル項目では python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-runner.py" --brand {slug} --action run-quick --file "{path}" --content-type "{type}" を実行します（インラインコンテンツブロックでは --file の代わりに --text "{content}" を使用し、ユーザーが包括的な評価を求めている場合は --action run-full を使用します）。エビデンスファイルが提供されている場合は、--evidence "{evidence_path}" を渡します。各項目の次元別スコア（content_quality、brand_voice、hallucination_risk、claim_verification、output_structure、readability）と総合スコアを収集します。
4. 各評価を記録する: 評価した項目ごとに、python "${CLAUDE_PLUGIN_ROOT}/scripts/quality-tracker.py" --brand {slug} --action log-eval --content-type "{type}" --data '{"label": "{label}", "scores": {scores_json}, "suite_id": "{suite_run_id}"}' を実行し、結果を長期的な追跡用に保存します。スイート ID により、このバッチ内のすべての項目をグループ化します。
5. 結果を集計する: ポートフォリオ全体の統計を算出します。
   • すべての項目の総合スコア平均
   • スコア分布 — 各評価帯の項目数（90 以上：優秀、80～89：良好、70～79：まずまず、60～69：要改善、60 未満：自動却下）
   • 次元別のポートフォリオ平均 — セット全体で一貫して強い、または弱い品質次元を特定します
   • 一貫性を評価する標準偏差（標準偏差が大きいほど品質にばらつきがあります）
6. すべてのコンテンツを順位付けする: 総合スコアの高い順に項目を並べ替えます。スコア、評価、コンテンツタイプのラベルを含む完全なランキングを提示します。
7. 共通の問題を特定する: すべての項目の次元別スコアを分析し、傾向を見つけます。たとえば、「12 項目中 7 項目が claim_verification で 70 未満」や「hallucination_risk のスコアが、content_quality のスコアを一貫して 15 点以上下回る」といった傾向です。こうした全体的なパターンは、個々のコンテンツの問題ではなく、プロセスやテンプレートの問題を示しています。
8. 優先順位を付けた改訂リストを作成する: 改訂が必要な項目を、影響度の高い順に並べます。優先するのは、（a）自動却下のしきい値を下回る項目、（b）平均スコアを下回る、視認性の高いコンテンツタイプ（ランディングページ、広告）、（c）1 つの次元が、他の点では高い総合スコアを引き下げている項目です。改訂リストの各項目について、重点を置くべき次元と必要な改善の種類を明記します。
9. ベースラインと比較する（提供されている場合）: ユーザーが過去のスイート実行 ID を提供した場合は、品質トラッカーから現在とベースラインの両方のスイートスコアを、各スイート期間について python "${CLAUDE_PLUGIN_ROOT}/scripts/quality-tracker.py" --brand {slug} --action get-summary を使って取得します。次に、2 回の実行間でラベルとコンテンツタイプが一致する項目を照合し、スコアの差を計算して、項目ごとおよびポートフォリオ全体の差分を算出します。各項目と全体の結果を、改善、悪化、または変化なしとして提示します。

出力

次の内容を含む、構造化されたポートフォリオ品質評価です。

• ポートフォリオの概要：作品の総数、複合スコアの平均、評価分布（優秀／有力／良好／要改善／自動却下の件数）、ポートフォリオ全体の評価、標準偏差に基づく一貫性スコア
• コンテンツのランキング：すべての項目を高評価から低評価の順に並べた一覧。各項目にラベル、コンテンツタイプ、複合スコア、評価、品質の概要（1行）を記載します
• 上位の項目：スコアが最も高い3項目と、優れている理由の具体的な説明。社内のベンチマークやテンプレートとして活用できます
• ディメンション別のポートフォリオ分析：セット全体での各ディメンション（content_quality、brand_voice、hallucination_risk、claim_verification、output_structure、readability）の平均スコアを示し、最も強いディメンションと最も弱いディメンションを具体的な所見とともに特定します（例：「brand_voiceのセット全体の平均は88で、ボイスガイドラインが適切に守られています。claim_verificationの平均は62で、情報源や裏付けとなる証拠が頻繁に不足しています。」）
• 共通課題のレポート：複数の項目に見られる構造的なパターンを特定します。これらは個別の項目を修正するよりも、テンプレートやブリーフの段階で改善すべきプロセス上の問題を示します
• 優先順位付き修正リスト：影響度順に並べた、修正が最も必要な項目の一覧。改善すべきディメンションと、必要な変更の種類を具体的に示します
• 自動却下リスト：しきい値を下回るスコアの項目と、その具体的な理由および必須の修正フラグ
• ベースラインとの比較（該当する場合）：項目ごとの差分と、ポートフォリオ全体の改善／後退を示す指標
• 推奨事項：実行可能な次のステップ。最初に修正すべき項目、ポートフォリオ全体の品質向上につながるプロセス改善策、ブリーフやテンプレートに問題があることを示唆する、継続的に評価が低いコンテンツタイプを示します

使用エージェント

• quality-assurance -- 各コンテンツをすべての品質ディメンションにわたって評価し、バッチ全体のスコアリングの一貫性を保ち、構造的な品質パターンを特定し、ポートフォリオ全体に関する分析を生成して、優先順位付きの修正提案を作成します