eval-content

/digital-marketing-pro:eval-content

目的

評価パイプライン全体を使用して、コンテンツを包括的に評価します。コンテンツを6つの評価軸（コンテンツの品質、ブランドボイス、ハルシネーションのリスク、主張の検証、出力構造、読みやすさ）で評価し、総合スコアとレターグレードを算出します。また、具体的な問題点と修正案を提示し、ブランドの品質基準と比較します。コンテンツを公開、クライアントレビュー、キャンペーン開始に進める前に実行する、基本のコマンドです。

すべての評価は品質トラッカーに記録されるため、リグレッション検出、傾向分析、ブランドレベルの品質レポートが継続的に機能します。/digital-marketing-pro:eval-config でブランド固有のしきい値や評価軸の重みが設定されている場合は自動的に適用されます。設定されていない場合は、業界標準のデフォルト値が使用されます。

必要な入力

ユーザーは次の情報を指定する必要があります（指定がない場合は入力を求められます）。

• 評価するコンテンツ：スコアリング対象のテキストです。インラインでの指定、テキストの貼り付け、またはファイルパスで指定できます。ブログ記事、メール、広告コピー、ソーシャル投稿、ランディングページ、プレスリリース、コンテンツブリーフ、キャンペーン計画、カスタム形式など、あらゆるマーケティングコンテンツに対応しています
• コンテンツタイプ（任意）：blog_post、email、ad_copy、social_post、landing_page、press_release、content_brief、campaign_plan、custom のいずれかです。省略した場合、評価ランナーがコンテンツの構造と長さに基づいて自動検出します。コンテンツタイプによって、構造検証に使用する組み込みスキーマと、適用する読みやすさのベンチマークが決まります
• エビデンスファイル（任意）：検証可能な主張とそのソースデータを含む JSON ファイルです。完全な主張検証スコアの算出に必要です。形式：[{"claim": "...", "source": "...", "date": "...", "verified": true}]。指定しない場合、主張検証は抽出のみのモードで実行され、すべての具体的な主張に「未検証 — エビデンスを推奨」とフラグが付けられます
• スキーマ（任意）：構造検証用のカスタム JSON スキーマファイルです。コンテンツタイプが8種類の組み込みスキーマのいずれにも一致しない場合、または必須セクション、語数、書式ルールを定めたカスタムテンプレートがブランドにある場合に使用します

プロセス

1. ブランドコンテキストを読み込む: ~/.claude-marketing/brands/_active-brand.json を読み、アクティブなスラッグを確認してから、~/.claude-marketing/brands/{slug}/profile.json を読み込みます。ブランドのトーン、対象市場向けのコンプライアンスルール（skills/context-engine/compliance-rules.md）、業界コンテキストを適用します。また、~/.claude-marketing/brands/{slug}/guidelines/_manifest.json にガイドラインがあるか確認します。存在する場合は、制限事項と該当するカテゴリファイルを読み込みます（特に、トーンのスコアリング用の messaging.md と、形式基準用の visual-identity.md）。~/.claude-marketing/sops/ に代理店の SOP があるか確認します。ブランドが存在しない場合は、「先にブランドを設定しますか（/digital-marketing-pro:brand-setup）？」と尋ねるか、デフォルト設定で進めます。
2. 評価設定を読み込む: scripts/eval-config-manager.py --brand {slug} --action get-config を実行し、ブランド固有のしきい値、評価項目の重み、自動却下ルールを取得します。カスタム設定がない場合は、skills/context-engine/eval-framework-guide.md のデフォルト設定を使用します。出力では、どの設定がカスタムで、どれがデフォルトかを明記します。
3. 完全な評価を実行する: scripts/eval-runner.py --brand {slug} --action run-full --text "{content}" --content-type {content_type} を実行し、必要に応じて --evidence {evidence_file} と --schema {schema_file} フラグを指定します。次の 6 つの評価項目すべてを実行します。
   • コンテンツ品質（content-scorer.py を使用）: 深さ、独自性、正確性、読者にとっての価値、戦略との整合性
   • ブランドのトーン（brand-voice-scorer.py を使用）: トーンの一致、用語の一貫性、ブランドの個性との整合性、ガイドラインへの準拠
   • ハルシネーションのリスク（hallucination-detector.py を使用）: 未検証の統計情報、捏造された引用、誤った具体性、創作された引用文、裏付けのない最上級表現
   • 主張の検証（claim-verifier.py を使用）: 抽出した主張を証拠データと照合し、検証済み、一部検証済み、未検証、または矛盾ありに分類します
   • 出力構成（output-validator.py を使用）: 必須セクションの有無、語数が範囲内か、Markdown の書式が正しいか、プレースホルダーテキストがないか、CTA に一貫性があるか
   • 読みやすさ（readability-analyzer.py を使用）: Flesch-Kincaid 学年、文の複雑さ、専門用語の密度、対象読者に適した言語レベル
4. 結果を分析し、問題を重大度別に分類する: すべての評価項目のスコアと個々の指摘を確認します。各問題を次のように分類します。
   • 重大（公開前に必ず修正）: 高い確信度のハルシネーション警告、証拠との不一致がある矛盾した主張、自動却下しきい値の未達、コンプライアンス違反
   • 中程度（修正を推奨。品質に大きく影響）: しきい値を下回る評価項目のスコア、必須セクションの欠落、ブランドのトーンからの逸脱、対象範囲外の読みやすさ
   • 軽微（改善を推奨）: スタイルに関する提案、任意セクションの追加、読みやすさの微調整、書式の仕上げ
5. 修正案を作成する: 指摘された問題ごとに、該当する具体的なテキストまたはセクション、コンテンツ内の正確な位置、重大度、具体的な修正提案と置き換え例、修正した場合に期待できるスコアの改善を提示します。評価項目ごとの修正ガイダンスについては、skills/context-engine/eval-rubrics.md を参照します。
6. ベースラインと比較する: scripts/quality-tracker.py --brand {slug} --action get-trends --days 30 を実行し、ブランドの直近の品質履歴を取得します。過去のデータがある場合は、このコンテンツの総合スコアと各評価項目のスコアを、直近 30 日間の移動平均と比較し、平均を上回る、平均並み、平均を下回るのいずれかと、その差を示します。このコンテンツによってブランドの平均が下がる場合は、警告します。
7. 評価を記録する: scripts/quality-tracker.py --brand {slug} --action log-eval --data '{"content_type":"{type}","scores":{"composite":{score},...per-dimension scores...},"grade":"{grade}"}' を実行し、傾向の追跡と回帰検出のために評価を保存します（scores.composite は必須です。--content-type は読み取りアクション用のフィルターフラグであり、log-eval では使用しません）。この手順は必須です。評価はすべて記録する必要があります。
8. 推奨結果を添えて評価を提示する: すべての指摘をまとめ、明確な合格／要確認／不合格の推奨結果を示します。
   • 合格: 総合スコアがしきい値を満たし、重大な問題がなく、すべての評価項目が最低基準を上回っています。コンテンツは公開できます。
   • 要確認: 総合スコアが境界水準、または中程度の問題があります。公開前に対象を絞った修正が必要です。
   • 不合格: 総合スコアが自動却下しきい値を下回る、重大な問題がある、または最低基準を下回る評価項目があります。コンテンツには大幅な修正が必要です。

出力

以下を含む、構造化された評価レポート：

• 総合スコアとレターグレード：レターグレード（A+〜F）付きの総合スコア（0〜100）、および明確な理由を添えた合格／不合格／要レビューの推奨
• 評価項目の内訳：6つの評価項目（コンテンツ品質、ブランドボイス、ハルシネーションリスク、主張の検証、出力構造、読みやすさ）それぞれのスコア、しきい値、合否ステータス、主な調査結果の要約（1行）
• 重大な問題の一覧：指摘されたテキスト、位置、重大度の根拠、具体的な修正案（置き換えテキストの例を含む）
• 中程度の問題の一覧：重大な問題と同じ形式。しきい値未満のスコア、欠落セクション、ブランドボイスからの逸脱、読みやすさに関する懸念を含む
• 軽微な問題の一覧：スタイルや仕上げに関する推奨事項と改善案
• 修正による影響の推定：影響が最も大きい修正の上位5件について、それぞれを適用した場合に見込まれるスコアの改善幅を推定し、優先順位付けに役立てます
• ベースラインとの比較：ブランドの過去30日間の総合スコアおよび評価項目別スコアとの比較。差分と傾向（改善、横ばい、低下）を示します
• 自動却下チェック：自動却下ルールが発動したかどうか、および違反した具体的なしきい値
• 次のステップ：不合格または要レビューの場合は、影響の大きい順に並べた優先修正チェックリスト。合格の場合は、公開可能であることを確認し、任意の仕上げ案があれば提示します

使用エージェント

• quality-assurance — 評価パイプライン全体のオーケストレーション、レターグレードの算出を含む総合スコアの計算、問題の重大度分類（重大／中程度／軽微）、具体的な置き換えテキストを含む修正案の生成、過去のブランド品質データとのベースライン比較、自動却下のしきい値の適用、継続的な品質追跡のための評価ログ記録