mcpField
A
abtesting

abtesting

github.com/alphaonedev数据与数据库44 次安装
代码仓库

关于 abtesting

abtesting 是用于规划和评估 A/B 实验的技能，面向产品和数据团队。它涵盖实验设计、样本量功效分析、显著性检验和发布标准，并支持 CLI 与 API 工作流。

主要功能

  1. 01实验设计与指标选择
  2. 02样本量功效分析
  3. 03t 检验和卡方显著性检验
  4. 04依据 p 值和效应量制定发布标准
  5. 05CLI 与 API 工作流

适用场景

  1. 01规划网站功能或设计测试
  2. 02在实验前估算样本量
  3. 03发布前评估营销活动结果

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/alphaonedev/openclaw-graph --skill abtesting

安装后在 Claude Code 中输入/abtesting确认已加载。

详细介绍

abtesting

用途

此技能支持 A/B 测试工作流，包括实验设计、统计显著性检验、样本量功效分析和发布标准定义。使用它，基于数据驱动的实验优化决策。

适用场景

设计功能发布、网站变更或产品变体的实验时，请使用此技能。对于需要统计验证的场景，例如比较转化率或用户参与度指标，请使用它，以确保在全面部署前获得可靠结果。

主要功能
  • 设计 A/B 实验，设置变体、指标和时长等参数。
  • 使用 Cohen's d 等公式进行功效分析，计算所需样本量。
  • 对实验数据使用 t 检验或卡方检验测试统计显著性。
  • 根据 p 值、置信区间和效应量定义发布标准。
  • 与数据源集成，进行实时分析。
使用模式

首先，使用必需参数初始化实验对象。快速计算时使用 CLI，以编程方式访问时使用 API。操作前务必通过环境变量 $ABTEST_API_KEY 设置 API 密钥。例如，可以依次执行命令来设计实验、运行分析并决定是否发布。对于异步 API 调用，通过轮询获取结果。

常用命令/API

使用 OpenClaw CLI 执行 A/B 测试命令。通过 export ABTEST_API_KEY=your_key 进行设置。API 端点示例：POST https://api.openclaw.ai/abtesting/experiments。

  • 计算样本量的 CLI 命令：
    abtest calculate-sample-size --effect-size 0.2 --power 0.8 --alpha 0.05
    此命令会输出每组所需的最小样本量。

  • 用于显著性检验的 API 调用：
    curl -H "Authorization: Bearer $ABTEST_API_KEY" -d '{"control": [50, 55], 'treatment': [60, 65], 'metric': 'mean'}" https://api.openclaw.ai/abtesting/significance
    返回包含 p 值和置信区间的 JSON。

  • 实验设计的配置格式（JSON）：
    { "name": "email-variant-test", "variants": ["A", "B"], "metric": "click-rate", "duration_days": 7 }
    保存为 experiment.json 并运行：abtest design --config experiment.json。

  • 通过代码片段进行功效分析（Python）：
    import openclaw.abtesting
    result = openclaw.abtesting.power_analysis(effect_size=0.1, alpha=0.05, power=0.8)
    打印结果以查看所需样本量。

集成说明

在代码库中导入 OpenClaw SDK 并设置 $ABTEST_API_KEY，即可集成此技能。对于 Web 应用，可在 CI/CD 流水线中使用它，在合并前验证实验。确保可通过 SDK 的 connect 方法访问数据源（例如数据库），如 openclaw.abtesting.connect(db_url="postgres://user:pass@host/db")。如果用于微服务，请为 API 调用实现指数退避重试。

错误处理

检查每条命令是否出错；CLI 会返回退出码（例如，输入无效时返回 1）。对于 API，请解析 HTTP 响应：400 表示请求错误，401 表示身份验证失败。示例：
try: response = requests.post(url, headers={"Authorization": f"Bearer {os.environ['ABTEST_API_KEY']}"})) response.raise_for_status() except requests.exceptions.HTTPError as e: log_error(e)
通过预先验证输入来处理样本量不足等常见问题，例如使用 abtest validate --config experiment.json 尽早发现错误。

具体使用示例

  1. 为网站变体测试设计并计算样本量：
    首先，创建配置：{ "name": "homepage-test", "variants": ["original", "new"], "metric": "bounce-rate" }。
    运行：abtest calculate-sample-size --effect-size 0.05 --power 0.8 --alpha 0.05。
    使用输出结果（例如，每组 500 个）进行设置：abtest design --config config.json。
    这能确保实验拥有足够的统计功效。

  2. 分析显著性并决定是否上线电子邮件营销活动：
    收集数据：对照组点击数 = [100, 120]，实验组 = [140, 150]。
    运行：curl -H "Authorization: Bearer $ABTEST_API_KEY" -d '{"control": [100,120], "treatment": [140,150], "metric": "mean"}' https://api.openclaw.ai/abtesting/significance。
    如果 p 值 < 0.05，则按上线标准继续检查：abtest launch-check --p-value 0.03 --min-effect 0.1。
    这会根据结果自动做出决策。

图关系
  • 关联集群：abtesting（直接父级）。
  • 关联标签：ab-testing、experiments、statistics。
  • 关联的其他技能：analytics（用于数据处理）、data-science（用于高级统计分析）。

评论

支持 Markdown