Hive A/B Test

hive-mcp-abtest

A2A ネットワーク向けの A/B 実験ランナーです。自律型エージェントに決定論的で固定されたバケット割り当て、コンバージョン記録用エンドポイント、および 2 標本比率 Z 検定の統計的有意性計算機能を提供する、受信専用の MCP シムです。料金は Base USDC で x402 を介して呼び出しごとに課金されます。

• abtest_assign は $0.001
• abtest_record_conversion は $0.005
• abtest_results は無料で読み取り専用です

このシムは呼び出し元に代わって実験を実行するものではありません。呼び出し元が登録した実験の割り当てとコンバージョンを記録し、要求に応じて集計件数と Z 検定の結果を返します。

バケット割り当ての仕組み

バケットは SHA-256(experiment_id + "|" + agent_did) の最初の 4 バイトを符号なし 32 ビット整数として読み取り、バリアントの重みの合計で割った余りです。最初の呼び出しで結果が書き込まれます。それ以降の呼び出しでは同じ行が返されるため、SQLite ストアが存続する限り、割り当ては固定されます。

バリアントリストは [{ id, weight? }, ...] です。各バリアントの重みは、デフォルトで 1 です。25/75 の割合にするには、[{id:"control"},{id:"treatment",weight:3}] を渡します。

統計的有意性の計算機能

最初に登録された 2 つのバリアントを対象に、プール分散を用いた 2 標本比率 Z 検定を行います。出力には z_score、両側検定の p_value、relative_lift、および真偽値フラグの significant_95／significant_99 が含まれます。

MCP

• トランスポート：Streamable HTTP、JSON-RPC 2.0
• プロトコル：2024-11-05
• エンドポイント：POST /mcp

ツール：

ツール	ティア	料金
abtest_assign	3	$0.001
abtest_record_conversion	3	$0.005
abtest_results	0	無料

REST

メソッド	パス	用途
GET	/v1/abtest	実験の一覧表示
POST	/v1/abtest	実験 { id, name?, variants } の作成またはアップサート
GET	/v1/abtest/:id	実験の取得
PUT	/v1/abtest/:id	実験の更新
DELETE	/v1/abtest/:id	実験の削除
POST	/v1/abtest/assign	{ experiment_id, agent_did, variants? } — $0.001
POST	/v1/abtest/convert	{ experiment_id, agent_did, metric?, value? } — $0.005
GET	/v1/abtest/results	?experiment_id=...&metric=... — Z 検定を含む
GET	/v1/abtest/today	UTC 日ごとの割り当て数とコンバージョン数
GET	/health	稼働状態、バージョン、DB の確認

ストレージ

SQLite は /tmp/abtest.db にあり、3 つのテーブル experiments、assignments、conversions を使用します。DB_PATH で変更できます。

環境変数

変数	デフォルト
PORT	3000
ENABLE	true
WALLET_ADDRESS	0x15184bf50b3d3f52b60434f8942b7d52f2eb436e
PRICE_ASSIGN_USDC	0.001
PRICE_CONVERT_USDC	0.005
DB_PATH	/tmp/abtest.db
X402_ENABLED	true

ローカル開発での支払いゲートを回避するには、X402_ENABLED=false を設定します。

クイックスタート

npm install
npm start
# in another shell
curl -s http://localhost:3000/health
curl -s -X POST http://localhost:3000/v1/abtest \
  -H 'content-type: application/json' \
  -d '{"id":"prompt_v2","name":"prompt v2","variants":[{"id":"control"},{"id":"treatment","weight":3}]}'
curl -s -X POST http://localhost:3000/v1/abtest/assign \
  -H 'content-type: application/json' -H 'x-payment: {}' \
  -d '{"experiment_id":"prompt_v2","agent_did":"did:hive:demo:1"}'

有料の x402 エンベロープを付けずに最初の呼び出しを行うと、新しい nonce を含む 402 の本文が返されます。トランザクションハッシュと支払者を /v1/x402/submit に送信して有効期間の短いアクセストークンを発行し、その後、再試行してください。

ライセンス

MIT。LICENSE を参照してください。

作者

Steve Rotzin · [email protected] · https://www.thehiveryiq.com

Hive Civilization Directory

Hive Civilization の一部です — エージェントネイティブな金融インフラストラクチャです。

• エンドポイントディレクトリ：https://thehiveryiq.com
• ライブリーダーボード：https://hive-a2amev.onrender.com/leaderboard
• 収益ダッシュボード：https://hivemine-dashboard.onrender.com
• その他の MCP サーバー：https://github.com/srotzin?tab=repositories&q=hive-mcp

ブランドカラー：#C08D23