eval-config

/digital-marketing-pro:eval-config

スクリプトの場所。 ホストで ${CLAUDE_PLUGIN_ROOT} が設定されていない場合、スクリプトは skills/ と同じ階層にあるこのプラグインの scripts/ フォルダー内にあります。Python 3.10 以降で実行してください。python が見つからない場合は、python3 を使用してください（macOS や多くの Linux システム）。

目的

ブランドの評価システムを設定します。評価軸ごとの最低品質しきい値を設定し、業界の優先事項やコンテンツ戦略に基づいてスコアの重みを調整し、基準を満たさないコンテンツが評価を通過しないよう自動却下のしきい値を設定し、コンテンツタイプごとに異なる品質基準を定義します。

評価設定によって、コンテンツの採点基準の厳しさと、ブランドが求める品質基準が決まります。医療関連企業は、技術的な読者向けの読みやすさのしきい値を緩和しつつ、幻覚リスクと主張の検証に大きな重みを設定する場合があります。消費者向けブランドは、認知度向上を目的としたコンテンツでは主張の検証を軽めにしつつ、ブランドボイスと読みやすさを優先する場合があります。複数のブランドを管理する代理店は、ブランドごとに異なる設定を行えます。このコマンドを使えば、こうしたトレードオフをデフォルト設定に埋もれさせず、明示的に調整できます。

必要な入力

ユーザーは次の情報を指定する必要があります（または、指定を求められます）。

• 設定操作：実行する操作 — view（get-config を使って現在の設定を表示）、set-threshold（評価軸の最低スコアを変更。特定のコンテンツタイプに上書き設定を適用するには --content-type を追加）、set-weights（評価軸の重みの配分を変更。コンテンツタイプごとに上書きするには --content-type を追加）、set-auto-reject（コンテンツが自動的に不合格となる複合スコアのしきい値を変更）、recommend（分析のみ — 業界に適した設定の提案を取得）、または reset（すべての設定をデフォルトに戻す）。独立した set-content-type 操作はありません。set-threshold または set-weights に --content-type を渡して、コンテンツタイプごとの上書き設定を行います。
• 評価軸名（set-threshold の場合）：設定する評価軸 — content_quality、brand_voice、hallucination_risk、claim_verification、output_structure、readability、または composite
• しきい値（set-threshold の場合）：指定した評価軸で許容される最低スコア（0～100）。いずれかの評価軸でこのしきい値を下回ったコンテンツは、その評価軸で不合格としてフラグが付けられます。
• 重み（set-weights の場合）：評価軸名と重みを対応付ける JSON オブジェクト。例：{"content_quality": 0.25, "brand_voice": 0.20, "hallucination_risk": 0.20, "claim_verification": 0.15, "output_structure": 0.10, "readability": 0.10}。重みの合計は約 1.0 である必要があります（丸め誤差として ±0.02 の許容範囲）。
• 自動却下スコア（set-auto-reject の場合）：個々の評価軸のスコアに関係なく、コンテンツが自動的に不合格となる複合スコアのしきい値 — ブランド基準に応じて通常は 40～60 です。
• コンテンツタイプ（任意。--content-type を使う set-threshold / set-weights の場合）：上書き設定を行うコンテンツタイプと、その上書き内容 — そのコンテンツタイプにのみ適用されるカスタムしきい値または重み

手順

1. ブランドコンテキストを読み込む：~/.claude-marketing/brands/_active-brand.jsonを読み、アクティブなスラッグを確認してから、~/.claude-marketing/brands/{slug}/profile.jsonを読み込みます。推奨の生成には業界のコンテキストを適用してください。業界によって重視すべき品質の優先事項は異なります。また、~/.claude-marketing/brands/{slug}/guidelines/_manifest.jsonにガイドラインがあるか確認し、存在する場合は、しきい値の推奨に反映すべき品質要件がガイドラインで定義されていないか確認します。~/.claude-marketing/sops/に代理店のSOPがあるかも確認します。ブランドが存在しない場合は、「先にブランドを設定しますか（/digital-marketing-pro:brand-setup）？」と尋ねるか、デフォルト設定で続行します。
2. 現在の設定を取得する：python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-config-manager.py" --brand {slug} --action get-configを実行し、現在のすべての設定（グローバルしきい値、ディメンションの重み、自動却下しきい値、コンテンツタイプ別の上書き設定など）を取得します。ユーザーが設定したカスタム設定とデフォルト設定を特定します。
3. 現在の設定を提示する：すべての設定を、明確で読みやすい形式で表示します。
   • グローバルしきい値：各ディメンションの最低スコアを、現在値とカスタム設定かデフォルト設定かとともに表示します
   • ディメンションの重み：複合スコアの計算における各ディメンションの重みを、小数とパーセンテージの両方で表示し、相対的な重要度を視覚的に示します
   • 自動却下しきい値：複合スコアの下限値と現在値を表示します
   • コンテンツタイプ別の上書き設定：カスタム設定があるコンテンツタイプについて、グローバル設定との差を示します
   • 有効スコアの計算例：現在の設定を使った仮の評価例を示します。たとえば、「この重みでは、コンテンツ品質が90点で幻覚リスクが50点の記事の複合スコアはXになります」
4. 設定変更を処理する：要求された操作に応じて、以下のように対応します。
   • set-threshold：しきい値が0～100の範囲内であることを検証します。python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-config-manager.py" --brand {slug} --action set-threshold --dimension {dimension} --threshold {value}を実行します（1つのコンテンツタイプに限定するには--content-type {type}を追加します）。採点の厳しさへの影響とともに、変更前後を比較して表示します
   • set-weights：すべての重みが0～1の範囲内で、合計がおおむね1.0になることを検証します。合計が正しくない場合は、差を示し、正規化するかどうかを尋ねます。python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-config-manager.py" --brand {slug} --action set-weights --weights '{weights_json}'を実行します。同じコンテンツが古い重みと新しい重みでどのように異なるスコアになるかの例とともに、変更前後を比較して表示します
   • set-auto-reject：スコアが0～100の範囲内であることを検証します。python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-config-manager.py" --brand {slug} --action set-auto-reject --threshold {score}を実行します。新しいしきい値と古いしきい値を適用した場合に、ブランドの最近の評価のうち何件が自動却下されるかを示し、影響を説明します
   • コンテンツタイプ別の上書き設定（単独の操作はありません）：set-thresholdまたはset-weightsに--content-type {content_type}を追加して、タイプごとのしきい値または重みを適用します。例：python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-config-manager.py" --brand {slug} --action set-threshold --dimension hallucination_risk --threshold 80 --content-type ad_copy。このコンテンツタイプの有効設定がグローバル設定とどのように異なるかを示します
   • recommend：ブランドの業界、オーディエンス、コンテンツ戦略、コンプライアンス要件を分析し、適切な設定を提案します。業界別の推奨事項については、skills/context-engine/eval-framework-guide.mdを参照します。提案には根拠を添えます。例：「医療関連ブランドでは、未検証の健康に関する主張に規制上のリスクがあるため、幻覚リスクの重みを0.25以上に設定することをお勧めします」
   • reset：python "${CLAUDE_PLUGIN_ROOT}/scripts/eval-config-manager.py" --brand {slug} --action resetを実行します。現在のカスタム設定がデフォルトに戻ることで何が変わるかを示し、実行前に確認します
5. 設定の整合性を検証する：変更後は、設定に内部的な矛盾がないことを確認します。
   • 重みの合計がおおむね1.0である
   • しきい値が100を超えたり、0を下回ったりしていない
   • 自動却下しきい値がディメンションしきい値の平均より低い（そうでない場合、ほぼすべてが自動却下されます）
   • コンテンツタイプ別の上書き設定によって、採点が不可能な状況が生じていない
   • 検証に失敗した場合は、問題を説明して修正方法を提案します
6. 変更前後を比較して表示する：設定を変更するたびに、古い設定と新しい設定を明確に並べて表示し、採点の挙動がどのように変わるかを示す具体例を添えます。「古い設定では、[example content]は72点（C）でした。新しい設定では、幻覚リスクの重みが大きくなったため、68点（D+）になります。」
7. 関連する調整を提案する：ユーザーが設定を変更した場合、関連して変更するとよい設定を提案します。例：幻覚のしきい値を上げた場合、関連する主張検証のしきい値も上げるよう提案します。これらは提案のみで、自動的には変更しません。

出力

以下を含む構成レポートが生成されます。

• 現在の設定の表示：すべてのしきい値、重み、自動却下しきい値、コンテンツタイプごとのオーバーライドを、カスタム設定かデフォルト設定かのラベルと、各カスタム設定の最終変更日を付けて、見やすい表形式で表示します。
• 変更前後の比較（変更があった場合）：変更箇所を強調したうえで、変更前と変更後の値を並べた表を表示します。同じコンテンツのスコアがどのように変わるかを示す例も含みます。
• 過去への影響分析（変更があった場合）：新しい設定を適用した場合に、ブランドの直近30日間の評価で結果（合格／不合格／要確認）が異なっていたものが何件あるかを算出し、変更による実際の影響を定量化します。
• 業界別の推奨設定（依頼があった場合、または関連性がある場合）：ブランドの業界に適した設定を推奨し、それぞれの理由として、特定の品質リスクや優先事項を示します。現在の設定と推奨設定の比較も含みます。
• 設定の検証：設定に矛盾がないことを確認します。重みの合計が適切であること、しきい値が有効範囲内にあること、ルールが競合していないことを検証します。問題が検出された場合は、その内容と修正案を提示します。
• 実効スコア設定の早見表：コンテンツタイプごとの実効設定を示す早見表を表示します。全体設定とコンテンツタイプごとのオーバーライドをまとめ、各コンテンツタイプに適用される品質基準をひと目で確認できます。
• 次のステップ：設定後の操作として、サンプルコンテンツに対して /digital-marketing-pro:eval-content を実行して新しい設定の動作を確認する、/digital-marketing-pro:quality-report を実行して過去の評価が新しい基準にどう当てはまるかを確認する、またはコンテンツタイプごとのオーバーライドを追加設定する、といった方法を提案します。

使用するエージェント

• quality-assurance — eval-config-manager.py を使用した評価設定の取得と変更、設定の検証（重みの正規化、しきい値の範囲確認、一貫性の検証）、過去の評価データに基づく変更前後の影響分析、eval-framework-guide.md を参照した業界に適した設定の推奨、コンテンツタイプごとのオーバーライド管理