mcpField
C
cost-benchmark

cost-benchmark

github.com/ruvnetテスト・品質80.0k679 回インストール今日更新
リポジトリ

cost-benchmark について

cost-benchmarkは、ベンチマークコーパスでcost-boosterスクリプトを実行し、ケース別と集計結果を保存するスキルです。リリース確認やコーパス更新、モデルコストの評価に使います。

主な機能

  1. 01boosterと任意のLLMベースラインの実行
  2. 02勝率とエスカレーション率の報告
  3. 03日時付きベンチマーク結果の保存
  4. 04モデルとエンドポイントの上書き
  5. 05Anthropicベースラインの比較

活用シーン

  1. 01リリース前の結果確認
  2. 02追加したベンチマークケースの検証
  3. 03上流動作の申告内容の確認
  4. 04タスク群ごとのモデルコスト比較

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/ruvnet/ruflo --skill cost-benchmark

インストール後、Claude Code で/cost-benchmarkを入力して読み込まれたか確認します。

詳細

コストベンチマーク

構造的コーパスと敵対的コーパスに対して scripts/bench.mjs を実行し、ケースごとの結果と概要を docs/benchmarks/runs/ に書き出します。これは、cost-booster-edit／cost-booster-route における、測定可能なすべての主張を裏付ける検証ゲートです。

使用するタイミング

  • リリースを公開する前 — ブースターの勝率が低下していないことを確認します。
  • bench/booster-corpus.json を拡張した後 — 新しいケースが正しくルーティングされることを確認します。
  • 「上流で主張された」タグを監査するとき — ベンチマークの結果が裏付けになったら、「検証済み」に切り替えます。
  • コストに関する質問（「これらのタスクでは Sonnet 4.6 は Opus 4.7 より安価ですか？」など）に答えるとき — BENCH_ANTHROPIC=1 を指定して再実行します。

手順

  1. v3/ からベンチマークを実行します（agent-booster が解決される場所です）。

    ( cd v3 && node ../plugins/ruflo-cost-tracker/scripts/bench.mjs )                  # booster only — free, ~85 ms
( cd v3 && BENCH_LLM_BASELINE=1 node ../plugins/ruflo-cost-tracker/scripts/bench.mjs ) # + Gemini 2.0 Flash (cheap)
( cd v3 && BENCH_LLM_BASELINE=1 BENCH_ANTHROPIC=1 \
     node ../plugins/ruflo-cost-tracker/scripts/bench.mjs )                          # + Sonnet 4.6 + Opus 4.7

  2. 標準出力に表示される Markdown の概要を確認します。ゲート指標は Tier 1 ケースの winRate です。敵対的ケースは escalationRate として個別に追跡されます。

  3. 保存された出力は次の場所にあります。

    • docs/benchmarks/runs/latest.json — 最新の実行結果へのポインター
    • docs/benchmarks/runs/<ISO-timestamp>.json — 過去の実行記録

  4. 後続のスキルで結果を読み込みます（例：cost-report の手順 2 では、最新のティア別支出の数値を取得するために latest.json を読み込みます）。

スモークゲート

  • Tier 1 ケースの winRate ≥ 0.80（スモーク手順 23）。しきい値を下げるには scripts/smoke.sh を編集します。
  • escalationRate は報告されますが、ゲート判定には使われません。敵対的ケースは診断用です。

環境変数による上書き

環境変数デフォルト用途
BENCH_LLM_BASELINE未設定=1 で OpenAI 互換のベースラインを実行します
BENCH_LLM_MODELmodels/gemini-2.0-flashOpenAI 互換モデルを上書きします
BENCH_LLM_BASE_URLGemini OpenAI shimエンドポイントを上書きします
BENCH_ANTHROPIC未設定=1 で Anthropic のベースライン（Sonnet 4.6 と Opus 4.7）を実行します
BENCH_ANTHROPIC_MODELSclaude-sonnet-4-6,claude-opus-4-7カンマ区切りの Claude ID
BENCH_OUTタイムスタンプ付きファイル出力先を上書きします
BENCH_QUIET=1未設定Markdown の概要を表示しません

API キーは gcloud secrets から自動取得されます（GOOGLE_AI_API_KEY、ANTHROPIC_API_KEY）。BENCH_LLM_API_KEY／BENCH_ANTHROPIC_API_KEY で上書きできます。

相互参照

ADR-0002 §「Decision 1」／§「Riskiest assumption」 · cost-booster-edit/SKILL.md（検証テーブルではこのスキルの出力を使用します） · cost-report/SKILL.md 手順 2（runs/latest.json を読み込みます）。

コメント

Markdown 対応