experimentation-and-ab-testing

実験と A/B テスト

因果関係を明らかにするエンジンです。管理された条件下で1つの変数を操作し、KPIに実際に影響する要因を明らかにします。このスキルはテストを設計し、バリエーション案を作成します。scheduling-and-queue → WoopSocialが投稿を公開し、analytics-and-reportingが結果を読み取ります。

基準はエビデンス。感覚ではありません

ソーシャルメディアでの「テスト」の多くは感覚頼りです。2つの投稿を公開し、いいねを見比べて勝者を決め、何も学ばないまま終わります。本当の実験では、推測をエビデンスに変えます。1つの変数を変更し、それ以外はすべて統制し、公開前に判断基準を設定し、シグナルとノイズを見分けられるだけの期間と回数を確保して実施します。オーガニック投稿では統計的有意性を明確に示せません（サンプル数が少なく、アルゴリズムが介在するため）。そのため、より厳密な統制、約20％以上の効果基準、ガードレール指標、そして3～5回の反復で補います。また、バズった投稿が1つだけあっても、戦略ではなくノイズとして扱います。

まずはこちらをお読みください

1. brand-profile — バリエーション案に適用する声や形式の制約。
2. goals-and-kpis — テストで動かすべきKPI／主要指標。

フレームワーク：TEST

（詳細：references/the-test-framework.md。）

• T — 1つの変数を対象にする： 明確な仮説を立て、要素を1つだけ変更します（フック／最初のフレーム／キャプション／CTA／投稿時間／形式）。それ以外はすべて同一にし、最も効果の大きい要素を選びます。
• E — 最初に判断基準を決める： 公開前に主要指標＋勝利の基準＋ガードレールを設定します（「リーチが15％以上増加し、リーチに対する保存数が悪化しなければBの勝ち」など）。結果を見てから正当化してはいけません。
• S — 統制条件とサンプルを設定する： 同じプラットフォーム／形式／トピック／長さ／期間で実施します。7日以上（アカウントが小さい場合は2～4週間）実施し、一貫して約20％以上の効果があれば有効と判断します（同点なら「別の場所でテストする」とします）。
• T — 集計し、反復し、拡大する： 「ベストプラクティス」とする前に3～5組の反復を行います。すべてのテストを記録し、勝者をプレイブックに反映して拡大し（content-recycling）、それ以外は終了します。

テスト対象（効果が大きく、自分で制御できるもの）

フック／最初のフレーム（短尺動画）→投稿時間（手軽）→形式→キャプション／CTA→サムネイル→ハッシュタグの順です。常にKPIと結び付けます。アルゴリズムに左右される要因ではなく、自分で制御できるものをテストしてください。30日間のスプリントを実施し、常に1つのテストが進行中の状態にします。優先リスト、設計テンプレート、スプリント計画、テスト記録、実例：references/what-to-test-and-recipes.md。手法とルールの全容：references/experimentation-2026-reality.md。

適用範囲に関する誠実さ（必ず守ること）

• オーガニック投稿は実験室レベルではありません。結果は方向性を示すものです。p値を見せかけに使うのではなく、統制条件、効果量、反復で補ってください。
• WoopSocialにはA/Bテストやオーディエンス分割の機能がありません。そのため、オーガニックテストは統制した順次投稿で行います。エージェントがバリエーション案を設計・作成し、スケジュールします。主要指標はネイティブ分析機能から読み取ります (analytics-and-reporting)。ネイティブの分割テストが実際に使えるのはYouTubeの「テストと比較」のみです（YouTube Studio、長尺動画のみ。Shortsは対象外）。タイトル、サムネイル、またはタイトルとサムネイルの組み合わせを最大3つテストできます。YouTubeのタイトル／サムネイルテストでは、順次投稿の代わりにこれを使用してください。（四半期ごとに確認）
• pハッキング／HARKing／都合のよい結果の選別は禁止です。判断基準は事前に設定します。複数の変数を変更した場合、結果を1つの要素のせいにはできません。1件の投稿、1日分のデータはノイズです。結果を捏造してはいけません。同点も有効な結果です。 （適用範囲、ループにおける役割と連携：references/scope-and-connections.md。）

関連スキルとの違い（正しく振り分ける）

experimentation（このスキル）＝1つの変数を操作して因果関係を明らかにする · analytics-and-reporting ＝何が起きたかを観察・測定する · goals-and-kpis＝目標／主要指標を設定する · content-recycling ＝実証済みの勝ちパターンを拡大する · viral-reverse-engineering＝過去の投稿を説明する（事後分析）。未来に向けてテストするのとは異なります。

ここでの連携

まず brand-profile と goals-and-kpis を読み込みます。バリエーションは hook-writer、caption-writer、 reels-script／tiktok-script、carousel-writer、image-prompt／ideogram／nano-banana、 thumbnail-design を使って作成します。結果の確認には analytics-and-reporting（ネイティブ分析）を使います。拡大・計画には content-recycling、social-strategy、content-calendar／batch-content-plan、すべての *-growth スキルを使います。バリエーションの公開には scheduling-and-queue → WoopSocial（管理された順次投稿）を使います。

完了の定義

KPI に紐づく変数を1つだけ検証する明確な仮説があること、条件を同一に管理すること、公開前に主要指標・勝利のしきい値・ガードレールを 設定すること、期間が7日以上（小規模アカウントでは2～4週間）で、対応する比較を3～5回繰り返すこと、ネイティブ分析から結果を読み取り、一貫して約20％以上の効果を判断基準とすること（同率の場合も記録）、勝者を記録して content-recycling／strategy に展開すること、オーガニックの制限を明記すること、捏造や p ハッキングを行わないこと、analytics-and-reporting および goals-and-kpis との違いを正しく区別すること。