creative-testing-framework

/digital-marketing-pro:creative-testing-framework

スクリプトの場所。 ホストが ${CLAUDE_PLUGIN_ROOT} を設定しない場合、スクリプトは skills/ と同じ階層にあるこのプラグインの scripts/ フォルダー内にあります。Python 3.10 以降で実行してください。python を使用するか、python が見つからない場合（macOS、多くの Linux システム）は python3 を使用します。

目的

広告プラットフォーム全体で統計的な厳密さを維持しながら、学習速度を最大化する体系的なクリエイティブテストフレームワークを設計します。変数の優先順位、必要なサンプルサイズ、イテレーションの頻度、継続的なクリエイティブ最適化のためのドキュメント作成基準を含む、完全なテストプレイブックを作成します。

必要な入力

ユーザーは以下を提供する必要があります（または、入力を求められます）。

• 広告プラットフォーム：広告の配信先 — Google Ads、Meta Ads、LinkedIn Ads、TikTok Ads、プログラマティック DSP、Pinterest、X/Twitter、または複数のプラットフォーム
• 利用可能なクリエイティブの種類：制作可能な形式 — 静止画、動画（短尺／長尺）、カルーセル、テキストのみ、レスポンシブディスプレイ、HTML5、プレイアブル広告、またはコレクション広告
• テストに割り当てられた月間広告予算：実績のある広告と比べて、クリエイティブの実験に特化して利用できる予算
• 現在最も成果の高いクリエイティブ：現在配信中の広告のうち、成果が最も高いものの説明または参照情報と、主要な指標
• 学習目標：最適化が必要なクリエイティブ要素 — 見出し、画像、CTA の文言、動画のフック、カラーパレット、オファーの訴求方法、ソーシャルプルーフ、フォーマットの種類、または広告コピーの長さ
• テスト対象のオーディエンスセグメント：テストに利用できるオーディエンスグループ — 新規顧客開拓、リターゲティング、類似オーディエンス、興味関心ベース、デモグラフィック、またはカスタムセグメント
• キャンペーンの目標：広告の最適化対象 — 認知（インプレッション／リーチ）、検討（クリック／動画再生）、またはコンバージョン（リード／購入／ROAS）
• 過去のクリエイティブのパフォーマンスデータ：任意 — 過去のテスト結果、クリエイティブの疲労パターン、季節によるパフォーマンスの変動、既知の勝ちパターン／負けパターン
• ブランドガイドラインの制約：クリエイティブ制作の速度に影響するビジュアルアイデンティティのルール、メッセージ上の制限、必須の免責事項、または承認のボトルネック
• テスト期間：テストプログラムの実施期間 — 単一のスプリント（2～4 週間）、四半期ごとのロードマップ、または継続的な常設プログラム

プロセス

1. ブランドのコンテキストを読み込む：~/.claude-marketing/brands/_active-brand.json を読み込み、アクティブなスラッグを確認してから、~/.claude-marketing/brands/{slug}/profile.json を読み込みます。ブランドのトーン、対象市場のコンプライアンスルール（skills/context-engine/compliance-rules.md）、業界のコンテキストを適用します。また、ガイドラインも確認してください。~/.claude-marketing/brands/{slug}/guidelines/_manifest.json があれば、制限事項と関連するカテゴリファイルを読み込みます。~/.claude-marketing/brands/{slug}/templates/ にカスタムテンプレートがないか確認します。~/.claude-marketing/sops/ に代理店の SOP がないか確認します。ブランドが存在しない場合は、「最初にブランドを設定しますか（/digital-marketing-pro:brand-setup）？」と尋ねるか、デフォルト設定で進めます。
2. テスト変数を定義する：テスト可能なクリエイティブ要素をすべてリストアップします。見出しのコピー、本文の長さ、CTA のテキストと色、ヒーロー画像の被写体、画像のスタイル（写真、イラスト、UGC）、動画のフック（最初の 3 秒）、動画の長さ、広告フォーマット（静止画、カルーセル、動画）、カラーパレット、オファーの訴求方法（割引、価値、緊急性）、ソーシャルプルーフの種類（お客様の声、数値、バッジ）、レイアウト構成などが含まれます。
3. 期待される効果と容易さに基づいて変数に優先順位を付ける：期待されるパフォーマンスへの影響（高／低）と制作工数（高／低）の 2×2 マトリックスを使って、各変数を評価します。影響が大きく、工数が少ない要素をチームが最初にテストできるよう、変数を順位付けします。利用可能な場合は、過去のデータとプラットフォームのベンチマークを使って影響を推定します。
4. テストマトリックスを設計する：変数とバリエーションのグリッドを作成します。優先度の高い各変数について、現在のコントロールと比較する 2〜4 種類のバリエーションを定義します。意図的な多変量実験を行う場合を除き、テストは分離して（テストごとに 1 つの変数を変更して）実施します。各テストを適切なオーディエンスセグメントとプラットフォームに割り当てます。
5. バリエーションごとのサンプルサイズと最低予算を計算する：python "${CLAUDE_PLUGIN_ROOT}/scripts/sample-size-calculator.py" --baseline-rate {rate} --mde {mde} --mde-type relative --significance 0.95 --power 0.80 を使って、バリエーションごとに必要なコンバージョン数を計算します（「相対的に 10〜20％の向上」は --mde 0.10〜0.20 と --mde-type relative で指定します。目標がパーセンテージポイントで示されている場合は --mde-type absolute を使います。ベースラインが 5％の場合、この 2 つには約 40 倍の差があります）。現在の CPM／CPC レートに基づいて、サンプルサイズをテストごとの最低予算に換算します。
6. ホールドアウトのコントロール構成を定義する：コントロールの枠組みを設計します。テスト予算の 10〜20％を、安定したベンチマークとなる変更しないコントロールクリエイティブに割り当てます。コントロールを更新するタイミング（四半期ごと、またはパフォーマンスがしきい値を下回ったとき）と、新たな勝者を次のコントロールに昇格させる方法を定義します。
7. 統計的有意性のしきい値を設定する：勝者を決定するために必要な信頼水準を定義します（方向性の判断には 90％、大規模なクリエイティブ変更には 95％）。頻度論的手法（p 値）とベイズ的手法（最良である確率）のどちらを使うかを指定します。最低観測期間（曜日による変動を考慮して 7 日以上）と、途中経過を覗かないための手順を文書化します。
8. イテレーションの周期を作成する：テストのリズムを設計します。配信量の多いアカウントでは毎週、中程度のアカウントでは隔週、配信量の少ないアカウントでは毎月、クリエイティブを更新します。パイプラインを定義します。ブリーフ作成（1 日目）、制作（2〜3 日目）、レビューと承認（4 日目）、配信開始（5 日目）、モニタリング（6〜14 日目）、分析とイテレーション（15 日目）。ブランドの承認ワークフローに合わせて周期を調整します。
9. 勝者の選定基準を作成する：勝者の決定方法を定義します。主要指標（目的に応じた CTR、コンバージョン率、ROAS、CPA）、最低信頼水準、最低サンプルサイズへの到達、悪化してはならないガードレール指標を定めます（たとえば、CTR を向上させてもコンバージョン率を大きく下げる見出しは勝者ではありません）。候補が統計的に有意であることを、宣言する前に python "${CLAUDE_PLUGIN_ROOT}/scripts/significance-tester.py" --control-visitors {n} --control-conversions {n} --variant-visitors {n} --variant-conversions {n} --confidence 0.95 で確認します。同率の場合や結果が確定しない場合のルールも含めます。
10. 結果と学びを記録するドキュメント用テンプレートを作成する：標準的なテストカードのテンプレートを設計し、仮説、テストした変数、バリエーション、オーディエンス、プラットフォーム、期間、サンプルサイズ、主要指標の結果、副次指標、統計的有意性、勝者の判定、重要な学び、次のテストの推奨事項を記録します。これにより、時間をかけてクリエイティブのナレッジベースを構築できます。

出力

以下を含む、体系的なクリエイティブテストフレームワークです。

• テスト変数の優先順位付け — テスト可能なすべての要素をスコア化、順位付けし、テストロードマップに沿って順序付けした、インパクトと工数のマトリックス
• テストマトリックス — 各テスト、対照群、バリエーション、ターゲットオーディエンス、プラットフォームを示し、変数を明確に分離した、変数とバリエーションのグリッド
• バリエーションごとの必要サンプルサイズ — 現在のパフォーマンスデータ、希望するMDE、信頼水準に基づいて算出した最小値
• テストごとの最小予算 — 現在のプラットフォームのCPM/CPCレートを使って必要サンプルサイズから換算した金額と、テスト予算の総配分
• ホールドアウト対照群の設計 — 予算の10-20%の配分、対照群の更新基準、テストから常時配信への勝者の昇格プロセス
• 統計的有意性のしきい値と手法 — 信頼水準、頻度主義とベイズ主義のアプローチ、最低観測期間、途中確認を避けるルール
• イテレーション頻度のカレンダー — ブリーフ作成、制作、開始、分析の日程を割り当てた、週単位またはスプリント単位のテストスケジュール
• 勝者の選定基準 — 主要指標、信頼水準、リフトの最低しきい値、ガードレール指標、同点の場合の判定ルール、結論が出ない場合の対応手順
• バリエーションごとのクリエイティブブリーフテンプレート — 各バリエーションが対照群や他のバリエーションと明確に差別化されるよう制作する、標準化されたブリーフ形式
• クリエイティブ追跡用の命名規則 — プラットフォームをまたいだ明確なパフォーマンス分析を可能にする、体系的な命名形式（platform_audience_variable_variant_date）
• 結果と学びのドキュメントテンプレート — 仮説、結果、有意性、学び、次のステップを検索可能なナレッジベースに記録するテストカード形式
• クリエイティブ疲労の指標と更新トリガー — 勝ちクリエイティブの効果低下を示す指標（CTRの低下、フリークエンシーのしきい値、エンゲージメントの低下）と、推奨される更新アクション
• プラットフォーム別のテストのベストプラクティス — Meta Advantage+のクリエイティブに関する考慮事項（Advantage+ Leadsを含む。2026年5月に全世界で利用可能）、Googleのレスポンシブ広告のテストにおける注意点、LinkedInのクリエイティブ仕様、TikTokのネイティブコンテンツ要件、Threadsの画像のみの配置（全世界での展開は2026年5月に完了）、プラットフォーム別の最低予算
• AIによるクリエイティブバリエーションの制作 — バリエーションを大規模にテストする場合、高忠実度の静止画バリエーションにはブランドキャラクターの一貫性があり（画像内テキストのレンダリングはクラス最高）、ショートフォーム動画バリエーションにはNano Banana Proを使用します。Veo 3.1またはGemini Omniを使用し、同期されたネイティブ音声が重要な場合は特にVeo 3.1を使用します。EU向けの配置に使用するすべてのAI生成テストバリエーションは、配信開始前に/digital-marketing-pro:c2pa-metadataでC2PA署名を付与する必要があります。公開前ゲートの/digital-marketing-pro:checkは、EUをターゲットとする広告セット内の未署名AIアセットをブロックします。AI生成のバリエーションごとのコストを、最小予算の計算における「クリエイティブ制作費」の新たな基準として扱います。
• 四半期テストロードマップ — 変数をテストする順序、予算の段階的な配分、マイルストーンレビュー、四半期ごとの戦略的な学習目標を示す12週間の計画

使用エージェント

• cro-specialist — テスト手法の設計、統計的厳密性のフレームワーク、サンプルサイズの計算、有意性のしきい値、勝者の選定基準、ホールドアウト対照群の構成、ドキュメントの基準
• media-buyer — プラットフォーム別のテスト設定、テストごとの予算配分、クリエイティブ形式の推奨、オーディエンスセグメントのマッピング、命名規則、疲労のモニタリング、四半期ロードマップの計画