A/B Test Sample Size Calculator MCP

ab-test-sample-size-calculator-mcp

为 AI 助手提供 A/B 测试样本量计算和显著性检验，用精确答案取代心算。

这是一个模型上下文协议（MCP）服务。它可以计算 A/B 测试需要多少用户、测试需要运行多长时间、结果是否显著（z 检验、卡方检验、Fisher 精确检验）、适用于较大列联表的 Fisher-Freeman-Halton 精确检验，以及反复查看结果会在多大程度上增加假阳性率。它不需要 API 密钥，也不会发起网络请求。

工具

工具	返回内容
calculate_sample_size	转化率测试中每个变体所需的用户数：基线、相对或绝对 MDE、alpha、检验功效、单侧或双侧、多变体（可选 Bonferroni 校正）、不等比例分流。还会显示 Evan Miller 计算器在相同输入下给出的数值。
estimate_test_duration	根据每日访客数、流量占比和变体数量，计算达到所需样本量需要的天数和整周数。
test_ab_significance	双比例 z 检验、p 值、置信区间、相对提升、含 Yates 校正和不含 Yates 校正的卡方检验、Fisher 精确检验 p 值，以及样本比例失配检查。
fisher_exact_test	2x2 列联表的精确 p 值（双侧、大于、小于），或任意 r x c 列联表的精确 p 值（Fisher-Freeman-Halton），并列显示 Pearson 卡方检验和期望频数检查。
check_peeking_risk	测试被查看 K 次时实际的假阳性率，以及最多 10 次查看对应的 Pocock 和 O'Brien-Fleming 边界。

每个结果都包含结构化 JSON、一段摘要、as_of、source（方法参考资料）和 more（abwex.com 上对应的计算器：abwex.com）。

它知道而你的模型不知道的内容

• 精确的反正态分位数和完整的样本量公式。模型会将 z 值取整、遗漏合并方差项，或混淆相对和绝对 MDE，结果可能相差数千名用户。
• 为什么不同计算器会给出不同结果。结果会同时显示标准合并公式（与 R power.prop.test 一致）和 Evan Miller 发布的公式，因此 37,513 与 36,314 的差距有据可查。
• 精确的超几何求和。4 x 4 列联表的 Fisher-Freeman-Halton p 值需要对数百万个列联表求和，无法靠心算估算。
• 序贯检验数值：当 p < 0.05 时查看 5 次会产生 14.2% 的假阳性率，以及可修正该问题的边界。

安装

托管版（Claude.ai 自定义连接器、ChatGPT 开发者模式）

粘贴此 URL。无需令牌，也无需注册。

https://ab-test-sample-size-calculator-mcp.lipmichal.workers.dev/mcp

Claude Code

claude mcp add --transport http ab-test-calculator https://ab-test-sample-size-calculator-mcp.lipmichal.workers.dev/mcp

或者通过 stdio 在本地运行：

claude mcp add ab-test-calculator -- npx -y github:theluckystrike/ab-test-sample-size-calculator-mcp

Claude Desktop

添加到 claude_desktop_config.json：

{
  "mcpServers": {
    "ab-test-calculator": { "command": "npx", "args": ["-y", "github:theluckystrike/ab-test-sample-size-calculator-mcp"] }
  }
}

Cursor

添加到 ~/.cursor/mcp.json：

{
  "mcpServers": {
    "ab-test-calculator": { "url": "https://ab-test-sample-size-calculator-mcp.lipmichal.workers.dev/mcp" }
  }
}

VS Code

添加到 .vscode/mcp.json：

{
  "servers": {
    "ab-test-calculator": { "type": "http", "url": "https://ab-test-sample-size-calculator-mcp.lipmichal.workers.dev/mcp" }
  }
}

本地 stdio 版本需要 Node 20 或更高版本。

示例提示词

• “我们的结账转化率为 4.2%。若要以 80% 的检验功效检测 10% 的相对提升，每个变体需要多少用户？”
• “我们每天有 4,000 名访客，想测试 3 个变体。需要多少周？”
• “对照组的 10,000 名用户中有 420 次转化，变体组的 10,050 名用户中有 495 次转化。结果显著吗？”
• “对 [[12, 30, 8], [20, 25, 15]] 执行 Fisher-Freeman-Halton 检验。”
• “如果连续 10 天每天查看一次仪表板，实际假阳性率是多少？”

数据来源

没有实时数据。检验方法及用于核验的已发布数值见 DATA_SOURCES.md：R power.prop.test 和 fisher.test 文档输出、Evan Miller 的计算器代码、scipy 和 statsmodels 的参考值（scripts/reference.py）、Armitage 等人（1969 年），以及 Jennison 和 Turnbull（2000 年）。

限制

• 样本量计算涵盖转化率（两个比例）。收入/用户等连续指标需要标准差，因此不在涵盖范围内。
• 样本量和时长的计算基于固定时限测试，且只分析一次。若要进行多次查看，请使用 check_peeking_risk 规划。
• Fisher-Freeman-Halton 检验会精确枚举列联表。非常大或稀疏的 r x c 表可能会超出工作量限制（托管服务上的限制低于本地）。此时，工具会返回卡方检验结果并附上说明，而不是精确 p 值。
• 偷看边界假设各次查看间隔相等，并采用双侧检验；最多提供 10 次查看的边界。
• 差值的置信区间采用 Wald 区间，对于样本量较小且比率接近 0 或 1 的情况，效果较差。

更多内容

这些计算器和指南的交互版本请访问 abwex.com，其中包括 Fisher-Freeman-Halton 计算器和偷看膨胀计算器。

属于 Zovo MCP 集合：https://mcp.zovo.one

开发

npm install
npm test                      # builds, then runs the fixture tests
python3 scripts/reference.py  # recomputes the reference values with scipy and statsmodels
node scripts/smoke-stdio.mjs  # stdio check, one call per tool
npx wrangler deploy           # Cloudflare Worker, Streamable HTTP at /mcp

许可证

MIT

同一作者提供的更多数据服务

每个服务都免费使用，无需 API 密钥，并提供可粘贴到 Claude 或 ChatGPT 中的托管 URL。

server	tools	hosted URL
cups-to-grams-mcp	convert_ingredient, search_ingredients, scale_recipe, convert_oven_temperature	https://cups-to-grams-mcp.lipmichal.workers.dev/mcp
dscr-loan-calculator-mcp	calculate_dscr, max_loan_for_target_dscr, rent_needed_for_target_dscr, compare_scenarios, amortization_summary	https://dscr-loan-calculator-mcp.lipmichal.workers.dev/mcp
gold-price-per-gram-mcp	get_gold_price_per_gram, get_metal_prices, calculate_jewelry_value, convert_gold_units	https://gold-price-per-gram-mcp.lipmichal.workers.dev/mcp
lake-level-mcp	search_lakes, get_lake_level, get_lake_history, compare_lakes	https://lake-level-mcp.lipmichal.workers.dev/mcp
minimum-wage-mcp	get_minimum_wage, list_upcoming_increases, compare_states, annual_income_at_minimum_wage	https://minimum-wage-mcp.lipmichal.workers.dev/mcp
no-tax-on-overtime-mcp	calculate_overtime_deduction, calculate_tips_deduction, calculate_senior_deduction, estimate_tax_savings, explain_eligibility	https://no-tax-on-overtime-mcp.lipmichal.workers.dev/mcp
paycheck-calculator-mcp	calculate_take_home_pay, compare_states_take_home, salary_to_hourly, hourly_to_salary, get_federal_tax_brackets	https://paycheck-calculator-mcp.lipmichal.workers.dev/mcp
uk-income-tax-salary-mcp	calculate_uk_take_home, get_uk_tax_bands, compare_salaries, marginal_rate_at_income	https://uk-income-tax-salary-mcp.lipmichal.workers.dev/mcp
us-federal-holidays-business-days-mcp	list_federal_holidays, is_business_day, add_business_days, count_business_days, invoice_due_date	https://us-federal-holidays-business-days-mcp.lipmichal.workers.dev/mcp
aca-premium-tax-credit-calculator-mcp	get_federal_poverty_level, calculate_premium_tax_credit, check_subsidy_cliff, get_aptc_repayment_cap	https://aca-premium-tax-credit-calculator-mcp.lipmichal.workers.dev/mcp
ap-score-distributions-mcp	get_ap_score_distribution, estimate_ap_percentile, compare_ap_exams, list_ap_exams, estimate_ap_score_from_composite	https://ap-score-distributions-mcp.lipmichal.workers.dev/mcp
car-loan-interest-deduction-calculator-mcp	calculate_car_loan_interest_deduction, calculate_salt_deduction, get_tax_brackets_and_standard_deduction, calculate_child_tax_credit	https://car-loan-interest-deduction-calculator-mcp.lipmichal.workers.dev/mcp
estate-gift-tax-exemption-calculator-mcp	get_exemption_amounts, calculate_estate_tax, check_gift, compare_years	https://estate-gift-tax-exemption-calculator-mcp.lipmichal.workers.dev/mcp
recipe-nutrition-calculator-mcp	lookup_ingredient_nutrition, calculate_recipe_nutrition, round_nutrition_label, scale_recipe_nutrition	https://recipe-nutrition-calculator-mcp.lipmichal.workers.dev/mcp
retirement-contribution-limits-2027-mcp	get_contribution_limits, calculate_max_contribution, get_social_security_cola, compare_years	https://retirement-contribution-limits-2027-mcp.lipmichal.workers.dev/mcp
section-179-deduction-calculator-mcp	calculate_section_179, calculate_bonus_depreciation, get_vehicle_depreciation_limits, calculate_asset_loan_payment	https://section-179-deduction-calculator-mcp.lipmichal.workers.dev/mcp
student-loan-repayment-assistance-plan-calculator-mcp	calculate_rap_payment, compare_rap_vs_standard, get_federal_loan_limits, get_plan_transition_dates	https://student-loan-repayment-assistance-plan-calculator-mcp.lipmichal.workers.dev/mcp
subdomain-finder-mcp	find_subdomains, resolve_subdomains, get_certificate_history, summarize_attack_surface	https://subdomain-finder-mcp.lipmichal.workers.dev/mcp
uk-statutory-sick-pay-maternity-pay-calculator-mcp	calculate_statutory_sick_pay, calculate_statutory_maternity_pay, get_minimum_wage_rates, check_eligibility	https://uk-statutory-sick-pay-maternity-pay-calculator-mcp.lipmichal.workers.dev/mcp

付费后台集合（发票、增值税、PDF、电子表格）位于 https://mcp.zovo.one