A/B Test Sample Size Calculator MCP

ab-test-sample-size-calculator-mcp

AI アシスタント向けの A/B テストサンプルサイズ計算ツールと有意差検定です。暗算ではなく、正確な答えを得られます。

これは Model Context Protocol（MCP）サーバーです。A/B テストに必要なユーザー数や実施期間、有意な結果かどうか（z 検定、カイ二乗検定、Fisher の正確確率検定）、大規模な分割表に対する Fisher-Freeman-Halton 正確検定、途中で何度も結果を見ることによる偽陽性の増加を計算します。API キーは不要で、ネットワークへの通信も行いません。

ツール

ツール	返される内容
calculate_sample_size	コンバージョン率の検定に必要なバリアントごとのユーザー数です。ベースライン、相対または絶対 MDE、有意水準、検出力、片側または両側、オプションのボンフェローニ補正を適用した複数バリアント、不均等な分割を指定できます。同じ入力に対して Evan Miller の計算ツールが返す数値も表示します。
estimate_test_duration	1 日あたりの訪問者数、トラフィックの割合、バリアント数をもとに、必要なサンプルサイズに達するまでの日数と週数を返します。
test_ab_significance	2 標本比率の z 検定、p 値、信頼区間、相対リフト、Yates の補正あり・なしのカイ二乗検定、Fisher の正確確率検定の p 値、サンプル比率の不一致チェックを返します。
fisher_exact_test	2x2 の分割表（両側、greater、less）または任意の r x c 分割表（Fisher-Freeman-Halton）の正確な p 値を、Pearson のカイ二乗検定および期待度数チェックとともに返します。
check_peeking_risk	テスト結果を K 回確認した場合の実際の偽陽性率と、最大 10 回の確認に対する Pocock および O'Brien-Fleming の境界を返します。

各結果には、構造化 JSON、1 段落の要約、as_of、source（手法の参考資料）、more（abwex.com の対応する計算ツール）が含まれます。

モデルが知らないこと

• 正確な逆正規分布の分位点と、サンプルサイズの完全な計算式です。モデルは z 値を丸めたり、プールされた分散の項を省いたり、相対 MDE と絶対 MDE を混同したりするため、答えに数千人の差が生じます。
• 計算ツールによって結果が異なる理由です。標準的なプール計算式（R の power.prop.test と同じ）と、公開されている Evan Miller の計算式の両方を表示するため、37,513 と 36,314 の差も説明できます。
• 正確な超幾何分布の総和です。4 x 4 の分割表の Fisher-Freeman-Halton p 値を求めるには、何百万もの表を合計する必要があり、暗算では推定できません。
• 逐次検定の数値です。p < 0.05 で 5 回確認すると偽陽性率は 14.2% になります。また、これを補正する境界も示します。

インストール

ホステッド（Claude.ai カスタムコネクター、ChatGPT デベロッパーモード）

この URL を貼り付けます。トークンも登録も不要です。

https://ab-test-sample-size-calculator-mcp.lipmichal.workers.dev/mcp

Claude Code

claude mcp add --transport http ab-test-calculator https://ab-test-sample-size-calculator-mcp.lipmichal.workers.dev/mcp

または、stdio を使ってローカルで実行します。

claude mcp add ab-test-calculator -- npx -y github:theluckystrike/ab-test-sample-size-calculator-mcp

Claude Desktop

claude_desktop_config.json に追加します。

{
  "mcpServers": {
    "ab-test-calculator": { "command": "npx", "args": ["-y", "github:theluckystrike/ab-test-sample-size-calculator-mcp"] }
  }
}

Cursor

~/.cursor/mcp.json に追加します。

{
  "mcpServers": {
    "ab-test-calculator": { "url": "https://ab-test-sample-size-calculator-mcp.lipmichal.workers.dev/mcp" }
  }
}

VS Code

.vscode/mcp.json に追加します。

{
  "servers": {
    "ab-test-calculator": { "type": "http", "url": "https://ab-test-sample-size-calculator-mcp.lipmichal.workers.dev/mcp" }
  }
}

ローカルの stdio 版には Node 20 以降が必要です。

プロンプトの例

• 「チェックアウトのコンバージョン率は 4.2% です。相対リフト 10% を検出力 80% で検出するには、バリアントごとに何人のユーザーが必要ですか？」
• 「1 日に 4,000 人が訪問し、3 つのバリアントをテストしたいです。何週間かかりますか？」
• 「コントロールでは 10,000 人中 420 人、バリアントでは 10,050 人中 495 人がコンバージョンしました。有意差はありますか？」
• 「[[12, 30, 8], [20, 25, 15]] に対して Fisher-Freeman-Halton 検定を実行してください。」
• 「10 日間、毎日ダッシュボードを確認した場合、実際の偽陽性率はいくつですか？」

データソース

リアルタイムデータはありません。検定で照合する手法と公開値は DATA_SOURCES.md に記載されています。R の power.prop.test と fisher.test のドキュメント出力、Evan Miller の計算ツールのコード、scipy と statsmodels の参照値（scripts/reference.py）、Armitage et al.（1969）、Jennison and Turnbull（2000）を参照しています。

制限事項

• サンプルサイズの対象はコンバージョン率（2つの比率）です。ユーザーあたりの収益などの連続指標には標準偏差が必要なため、対象外です。
• サンプルサイズと期間は、固定期間のテストを1回だけ分析する前提です。複数回分析する場合は、check_peeking_risk を使って計画してください。
• Fisher-Freeman-Halton 検定では、分割表を正確に列挙します。非常に大きい、または疎な r x c 分割表では、処理上限を超えることがあります（ホストサーバーではローカルより上限が低くなります）。その場合、ツールは正確な p 値の代わりに、注記とともにカイ二乗検定の結果を返します。
• のぞき見境界は、等間隔の分析と両側検定を前提としており、最大10回の分析までの境界を示します。
• 差の信頼区間には Wald 区間を使用します。サンプル数が少なく、率が0または1に近い場合、精度が低くなります。

詳細

これらの計算ツールとガイドのインタラクティブ版は abwex.com にあります。Fisher-Freeman-Halton 計算ツール とのぞき見による増加率の計算ツールも利用できます。

Zovo MCP コレクションの一部です：https://mcp.zovo.one

開発

npm install
npm test                      # builds, then runs the fixture tests
python3 scripts/reference.py  # recomputes the reference values with scipy and statsmodels
node scripts/smoke-stdio.mjs  # stdio check, one call per tool
npx wrangler deploy           # Cloudflare Worker, Streamable HTTP at /mcp

ライセンス

MIT

同じ作者によるその他のデータサーバー

どれも無料で、API キーは不要です。ホストされた URL を Claude または ChatGPT に貼り付けて利用できます。

server	tools	hosted URL
cups-to-grams-mcp	convert_ingredient, search_ingredients, scale_recipe, convert_oven_temperature	https://cups-to-grams-mcp.lipmichal.workers.dev/mcp
dscr-loan-calculator-mcp	calculate_dscr, max_loan_for_target_dscr, rent_needed_for_target_dscr, compare_scenarios, amortization_summary	https://dscr-loan-calculator-mcp.lipmichal.workers.dev/mcp
gold-price-per-gram-mcp	get_gold_price_per_gram, get_metal_prices, calculate_jewelry_value, convert_gold_units	https://gold-price-per-gram-mcp.lipmichal.workers.dev/mcp
lake-level-mcp	search_lakes, get_lake_level, get_lake_history, compare_lakes	https://lake-level-mcp.lipmichal.workers.dev/mcp
minimum-wage-mcp	get_minimum_wage, list_upcoming_increases, compare_states, annual_income_at_minimum_wage	https://minimum-wage-mcp.lipmichal.workers.dev/mcp
no-tax-on-overtime-mcp	calculate_overtime_deduction, calculate_tips_deduction, calculate_senior_deduction, estimate_tax_savings, explain_eligibility	https://no-tax-on-overtime-mcp.lipmichal.workers.dev/mcp
paycheck-calculator-mcp	calculate_take_home_pay, compare_states_take_home, salary_to_hourly, hourly_to_salary, get_federal_tax_brackets	https://paycheck-calculator-mcp.lipmichal.workers.dev/mcp
uk-income-tax-salary-mcp	calculate_uk_take_home, get_uk_tax_bands, compare_salaries, marginal_rate_at_income	https://uk-income-tax-salary-mcp.lipmichal.workers.dev/mcp
us-federal-holidays-business-days-mcp	list_federal_holidays, is_business_day, add_business_days, count_business_days, invoice_due_date	https://us-federal-holidays-business-days-mcp.lipmichal.workers.dev/mcp
aca-premium-tax-credit-calculator-mcp	get_federal_poverty_level, calculate_premium_tax_credit, check_subsidy_cliff, get_aptc_repayment_cap	https://aca-premium-tax-credit-calculator-mcp.lipmichal.workers.dev/mcp
ap-score-distributions-mcp	get_ap_score_distribution, estimate_ap_percentile, compare_ap_exams, list_ap_exams, estimate_ap_score_from_composite	https://ap-score-distributions-mcp.lipmichal.workers.dev/mcp
car-loan-interest-deduction-calculator-mcp	calculate_car_loan_interest_deduction, calculate_salt_deduction, get_tax_brackets_and_standard_deduction, calculate_child_tax_credit	https://car-loan-interest-deduction-calculator-mcp.lipmichal.workers.dev/mcp
estate-gift-tax-exemption-calculator-mcp	get_exemption_amounts, calculate_estate_tax, check_gift, compare_years	https://estate-gift-tax-exemption-calculator-mcp.lipmichal.workers.dev/mcp
recipe-nutrition-calculator-mcp	lookup_ingredient_nutrition, calculate_recipe_nutrition, round_nutrition_label, scale_recipe_nutrition	https://recipe-nutrition-calculator-mcp.lipmichal.workers.dev/mcp
retirement-contribution-limits-2027-mcp	get_contribution_limits, calculate_max_contribution, get_social_security_cola, compare_years	https://retirement-contribution-limits-2027-mcp.lipmichal.workers.dev/mcp
section-179-deduction-calculator-mcp	calculate_section_179, calculate_bonus_depreciation, get_vehicle_depreciation_limits, calculate_asset_loan_payment	https://section-179-deduction-calculator-mcp.lipmichal.workers.dev/mcp
student-loan-repayment-assistance-plan-calculator-mcp	calculate_rap_payment, compare_rap_vs_standard, get_federal_loan_limits, get_plan_transition_dates	https://student-loan-repayment-assistance-plan-calculator-mcp.lipmichal.workers.dev/mcp
subdomain-finder-mcp	find_subdomains, resolve_subdomains, get_certificate_history, summarize_attack_surface	https://subdomain-finder-mcp.lipmichal.workers.dev/mcp
uk-statutory-sick-pay-maternity-pay-calculator-mcp	calculate_statutory_sick_pay, calculate_statutory_maternity_pay, get_minimum_wage_rates, check_eligibility	https://uk-statutory-sick-pay-maternity-pay-calculator-mcp.lipmichal.workers.dev/mcp

有料のバックオフィスコレクション（請求書、VAT、PDF、スプレッドシート）は https://mcp.zovo.one にあります。