mcpField
A
ab-test-stats

ab-test-stats

github.com/guia-matthieuデータ・データベース150198 回インストール4 週間前に更新
リポジトリ

ab-test-stats について

Claude向けのA/Bテスト分析スキルです。コマンドラインで有意性、サンプルサイズ、実施期間を計算し、指標の定義や事業上の判断は利用者に委ねます。

主な機能

  1. 01有意性の計算
  2. 02サンプルサイズの推定
  3. 03実施期間の推定
  4. 04検出力とMDEの概念

活用シーン

  1. 01テスト結果の有意性を評価
  2. 02テスト前のサンプル数を計画
  3. 03トラフィックから実施期間を推定

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/guia-matthieu/clawfu-skills --skill ab-test-stats

インストール後、Claude Code で/ab-test-statsを入力して読み込まれたか確認します。

同梱ファイルscripts/main.pyscripts/requirements.txt

詳細

A/Bテスト統計計算ツール

A/Bテストの統計的有意性を計算し、結果が偶然ではなく本物かどうかを確認できます。

このスキルを使用する場面

  • テスト分析 - 結果が統計的に有意かどうかを判断します
  • サンプル計画 - テスト前に必要なサンプルサイズを計算します
  • 期間の見積もり - 実験の実施期間を把握します
  • 検出力分析 - 意味のある差を検出できるテストかどうかを確認します

Claude が行うことと、あなたが決めること

Claude が行うことあなたが決めること
分析フレームワークを構成します指標の定義
データ内のパターンを特定しますビジネス上の解釈
可視化テンプレートを作成しますダッシュボードの設計
最適化できる領域を提案しますアクションの優先順位
統計的尺度を計算します判断のしきい値

依存関係

pip install scipy numpy click

コマンド

有意性を確認する
python scripts/main.py significance --control 1000,50 --variant 1000,65
python scripts/main.py significance --control 5000,250 --variant 5000,300 --confidence 0.99
サンプルサイズを計算する
python scripts/main.py sample-size --baseline 0.05 --mde 0.02
python scripts/main.py sample-size --baseline 0.10 --mde 0.01 --power 0.90
期間を見積もる
python scripts/main.py duration --traffic 1000 --baseline 0.05 --mde 0.02

例

例 1：テスト結果を分析する
# Control: 1000 visitors, 50 conversions (5%)
# Variant: 1000 visitors, 65 conversions (6.5%)
python scripts/main.py significance --control 1000,50 --variant 1000,65

# Output:
# A/B Test Results
# ─────────────────────────
# Control:  5.00% (50/1000)
# Variant:  6.50% (65/1000)
# Lift:     +30.0%
#
# Statistical Analysis
# ─────────────────────────
# p-value:      0.089
# Confidence:   91.1%
# Result:       NOT SIGNIFICANT (need 95%)
#
# Recommendation: Continue test for more data
例 2：サンプルサイズを計画する
# Baseline 5% conversion, want to detect 20% relative lift (1% absolute)
python scripts/main.py sample-size --baseline 0.05 --mde 0.01

# Output:
# Sample Size Calculator
# ──────────────────────────────
# Baseline conversion: 5.0%
# Minimum detectable effect: 1.0% (20% relative)
# Target conversion: 6.0%
#
# Required per variant: 3,842 visitors
# Total required: 7,684 visitors
#
# At 1000 daily visitors: ~8 days

主な概念

用語定義
p値結果が偶然によるものである確率
信頼度1 - p値（通常は95%以上を目指します）
検出力実際の効果を検出できる確率（通常は80%）
MDE最小検出可能効果 - 検出する価値のある最小の上昇率
上昇率相対的な改善度（バリアント - コントロール）/ コントロール

結果が有意となる条件

p値信頼度判定
< 0.01> 99%高度に有意 ✓
< 0.05> 95%有意 ✓
< 0.10> 90%境界的に有意
≥ 0.10< 90%有意ではない ✗

スキルの範囲

このスキルが得意なこと
  • データ分析の構成
  • パターンと傾向の特定
  • 可視化フレームワークの作成
  • 統計的尺度の計算
このスキルでできないこと
  • 実際のデータへのアクセス
  • 統計の専門知識の代替
  • ビジネス上の意思決定
  • 予測精度の保証

関連スキル

スキルのメタデータ

  • モード: centaur
category: analytics
subcategory: statistics
dependencies: [scipy, numpy]
difficulty: intermediate
time_saved: 3+ hours/week

コメント

Markdown 対応