mcpField
A
abtesting

abtesting

github.com/alphaonedevデータ・データベース44 回インストール
リポジトリ

abtesting について

abtestingは、A/B実験の計画と評価を支援するスキルで、プロダクトやデータのチームを対象としています。実験設計、サンプルサイズの検出力分析、有意差検定、リリース基準をCLIとAPIで扱います。

主な機能

  1. 01実験設計と指標の選定
  2. 02サンプルサイズの検出力分析
  3. 03t検定とカイ二乗検定
  4. 04p値と効果量に基づくリリース基準
  5. 05CLIとAPIのワークフロー

活用シーン

  1. 01ウェブサイトの機能やデザインのテスト計画
  2. 02実験前のサンプルサイズ見積もり
  3. 03リリース前のキャンペーン結果の評価

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/alphaonedev/openclaw-graph --skill abtesting

インストール後、Claude Code で/abtestingを入力して読み込まれたか確認します。

詳細

abtesting

目的

このスキルを使うと、実験設計、統計的有意性の検定、サンプルサイズの検出力分析、リリース基準の定義など、A/B テストのワークフローを実行できます。データに基づく実験で意思決定を最適化する際に使用します。

使用するタイミング

機能の段階的なリリース、ウェブサイトの変更、製品のバリエーションを対象とする実験を設計する際にこのスキルを適用します。コンバージョン率やユーザーエンゲージメント指標の比較など、統計的な検証が必要なシナリオで使用し、全面展開の前に信頼できる結果を確保します。

主な機能
  • バリエーション、指標、期間などのパラメーターを設定して A/B テストを設計します。
  • Cohen's d などの公式を使用して、必要なサンプルサイズを算出する検出力分析を実行します。
  • 実験データに t 検定やカイ二乗検定を適用し、統計的有意性を検定します。
  • p 値、信頼区間、効果量に基づいてリリース基準を定義します。
  • リアルタイム分析のためにデータソースと連携します。
使用パターン

まず、必要なパラメーターを指定して実験オブジェクトを初期化します。簡単な計算には CLI を、プログラムからのアクセスには API を使用します。操作を実行する前に、必ず環境変数 $ABTEST_API_KEY に API キーを設定してください。たとえば、コマンドを連続して実行し、実験の設計、分析、リリース判断を行います。非同期 API 呼び出しの結果は、ポーリングして確認します。

主なコマンド／API

A/B テストのコマンドには OpenClaw CLI を使用します。export ABTEST_API_KEY=your_key で設定します。API エンドポイントの例：POST https://api.openclaw.ai/abtesting/experiments。

  • サンプルサイズを計算する CLI コマンド：
    abtest calculate-sample-size --effect-size 0.2 --power 0.8 --alpha 0.05
    グループごとの最小サンプルサイズが出力されます。

  • 有意性検定の API 呼び出し：
    curl -H "Authorization: Bearer $ABTEST_API_KEY" -d '{"control": [50, 55], 'treatment': [60, 65], 'metric': 'mean'}" https://api.openclaw.ai/abtesting/significance
    p 値と信頼区間を含む JSON が返されます。

  • 実験設計の設定形式（JSON）：
    { "name": "email-variant-test", "variants": ["A", "B"], "metric": "click-rate", "duration_days": 7 }
    experiment.json として保存し、次のコマンドを実行します：abtest design --config experiment.json。

  • コードスニペット（Python）による検出力分析：
    import openclaw.abtesting
    result = openclaw.abtesting.power_analysis(effect_size=0.1, alpha=0.05, power=0.8)
    必要なサンプルサイズを得るには、結果を出力します。

統合に関する注意

OpenClaw SDK をインポートし、$ABTEST_API_KEY を設定して、このスキルをコードベースに統合します。ウェブアプリでは、マージ前に実験を検証する CI/CD パイプラインで使用します。openclaw.abtesting.connect(db_url="postgres://user:pass@host/db") のように、SDK の connect メソッドを通じてデータソース（データベースなど）にアクセスできることを確認してください。マイクロサービスで使用する場合は、指数バックオフで API 呼び出しを再試行する処理を実装します。

エラー処理

すべてのコマンドでエラーを確認してください。CLI は終了コード（無効な入力の場合は 1 など）を返します。API では、HTTP レスポンスを解析します。400 は不正なリクエスト、401 は認証エラーを示します。例：
try: response = requests.post(url, headers={"Authorization": f"Bearer {os.environ['ABTEST_API_KEY']}"})) response.raise_for_status() except requests.exceptions.HTTPError as e: log_error(e)
サンプルサイズ不足などの一般的な問題を処理するには、事前に入力を検証します。たとえば、abtest validate --config experiment.json を使用すると、早い段階でエラーを検出できます。

具体的な使用例

  1. ウェブサイトのバリアントテストを設計し、サンプルサイズを計算する：
    まず、設定を作成します：{ "name": "homepage-test", "variants": ["original", "new"], "metric": "bounce-rate" }。
    実行します：abtest calculate-sample-size --effect-size 0.05 --power 0.8 --alpha 0.05。
    出力（例：各グループ500件）を使用して、次のように設定します：abtest design --config config.json。
    これにより、実験に十分な検出力を確保できます。

  2. メールキャンペーンの有意性を分析し、公開するかどうかを判断する：
    データを収集します：コントロールのクリック数 = [100, 120]、トリートメント = [140, 150]。
    実行します：curl -H "Authorization: Bearer $ABTEST_API_KEY" -d '{"control": [100,120], "treatment": [140,150], "metric": "mean"}' https://api.openclaw.ai/abtesting/significance。
    p値が0.05未満の場合は、公開基準に沿って次を実行します：abtest launch-check --p-value 0.03 --min-effect 0.1。
    これにより、結果に基づく意思決定を自動化できます。

グラフの関係
  • 関連するクラスター：abtesting（直接の親）。
  • 関連するタグ：ab-testing、experiments、statistics。
  • 他のスキルへのリンク：analytics（データ処理用）、data-science（高度な統計分析用）。

コメント

Markdown 対応