mcpField
A
ab-test-analyzer

ab-test-analyzer

github.com/victor-shulgaマーケティング・グロース147 回インストール4 日前に更新
リポジトリ

ab-test-analyzer について

2つのキャンペーン案を、送信数、開封数、返信数、関心を示した返信数で比較するスキルです。サンプル数に基づいて有意性を評価し、差が生じた指標層を特定して次のテストを提案します。

主な機能

  1. 014種類のキャンペーン率を計算
  2. 02案の差が生じた指標層を特定
  3. 03送信数に応じた結果評価
  4. 04勝者または結論保留の判定
  5. 05次のテストを提案

活用シーン

  1. 012つの営業キャンペーン案の比較
  2. 02小規模サンプルの結果判定
  3. 03次に検証する変数の選定

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/victor-shulga/outbound-engine-skills --skill ab-test-analyzer

インストール後、Claude Code で/ab-test-analyzerを入力して読み込まれたか確認します。

詳細

A/B テストアナライザー

2つのキャンペーン案を比較し、統計的有意性を判定して勝者を決め、次のテストを提案します。

必要なもの

  • バリアント A の指標：送信数、開封数、返信数、興味を示した返信数
  • バリアント B の指標：同上
  • バリアント間で異なる点（テスト対象の変数）
  • 分析には各バリアントで最低 50 件の送信が必要です

指標の優先順位

次の順に分析します。それぞれの層から異なることが分かります。

  1. 開封率：件名または送信者名に問題があります
  2. 返信率：文面またはターゲティングに問題があります
  3. 関心率：オファーまたは切り口に問題があります
  4. 商談予約率：CTA または適格性評価に問題があります

テストで結論を出せるのは、バリアント間に差が生じた層だけです。関心率の差を件名のせいにしないでください。

統計的有意性の目安

  • 各バリアントの送信数が 50 件未満：結論は出せません。記録して、判断には使わないでください
  • 各バリアントの送信数が 50～100 件：傾向を示すシグナルとして扱い、証明とは見なさないでください
  • 各バリアントの送信数が 100 件以上：統計的に意味のある結果です。これに基づいて対応してください

手順

  1. 両方のバリアントについて、4 つの率をすべて計算します
  2. バリアント間に差が生じた層を特定します
  3. 送信数に基づいて統計的有意性を判定します
  4. 勝者を決定します（基準未満の場合は「結論なし」とします）
  5. 次にテストする内容を提案します。同じテストを繰り返すだけにしないでください

出力形式

A/B test: [what was tested]
Date: [date]

VARIANT A — [description of variant]
Sends: [n] | Opens: [n] ([%]) | Replies: [n] ([%]) | Interested: [n] ([%])

VARIANT B — [description of variant]
Sends: [n] | Opens: [n] ([%]) | Replies: [n] ([%]) | Interested: [n] ([%])

ANALYSIS
Divergence layer: [opens / replies / interest / meetings]
Delta: [A vs B difference at divergence layer]
Statistical significance: [Conclusive / Directional / Inconclusive] — [reason]

WINNER: [Variant A / Variant B / Inconclusive]
Why: [one-line explanation]

NEXT TEST
Variable to test next: [what to change]
Hypothesis: [what you expect to happen and why]

注意事項

  • 一度にテストする変数は 1 つだけにしてください。件名と文面の両方を変更すると、結果の原因を特定できません
  • 開封率だけで勝者を決めないでください。開封率は、コンバージョンにつながらない件名の小細工でも上げられます
  • 両方のバリアントが Kill の基準（関心率 17％未満）に該当する場合、問題はバリアントではなく仮説にあります
  • すべてのテスト結果を記録してください。テスト全体を通じて見える傾向は、個々のテスト結果よりも価値があります

コメント

Markdown 対応