cost-trend について
cost-trendは、保存済みのベンチマーク実行結果を時系列で分析するスキルです。agent-boosterの性能を追跡するチーム向けに、初回と最新の比較や実行ごとの推移を示し、勝率低下や平均レイテンシの上昇を通知します。
主な機能
- 01保存済みベンチマーク結果の読み込み
- 02初回と最新の指標比較
- 03実行ごとの推移表示
- 04勝率・レイテンシの回帰検出
- 05JSON出力と対象件数の指定
活用シーン
- 01リリース前の性能変動確認
- 02コーパス拡張後の過去結果との比較
- 03agent-booster更新後のレイテンシ確認
- 04実行別の結果と基準レイテンシの確認
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/インストール後、Claude Code で/cost-trendを入力して読み込まれたか確認します。
詳細
コストの推移
スモークゲートは二値判定です（winRate ≥ 0.80 → 合格／不合格）。時間の経過とともに取得したコーパスのベンチマーク結果は曲線を描きます。曲線を見れば、ゲートでは見逃すリグレッションを検出できます（勝率が 100% から 85% へ徐々に低下しても、スモークテストでは「合格のまま」ですが、実際には劣化しています）。
このスキルは、docs/benchmarks/runs/*.json に保存されたすべての実行結果を読み込み、最初から最後までの差分と実行ごとの系列を報告し、勝率やレイテンシのリグレッションにフラグを立てます。
使用するタイミング
- リリース前 — 高速化の効果が低下していないか確認します。
- コーパスを拡張した後 — 新しいコーパスが反映された実行結果で、以前の実行も同じ勝率を達成できているか確認します。
agent-boosterのアップグレード後 — レイテンシや戦略の変化を明らかにします。
手順
-
トレンドスクリプトを実行します。プロジェクトのルートから実行してください。
node plugins/ruflo-cost-tracker/scripts/trend.mjs任意の環境変数：
TREND_FORMAT=json— Markdown の代わりに JSON を出力しますTREND_LIMIT=10— 直近の N 件の実行結果のみを対象にします
-
ドリフトの概要を確認します — 勝率、平均レイテンシ、p99、エスカレーション率、Gemini に対する高速化率について、最初と最後を比較します。
-
実行ごとの系列を確認します — 実行ごとに 1 行表示されます。実行時に有効になっていた場合は、Sonnet 4.6 と Opus 4.7 のベースラインレイテンシも含まれます（実行時に
BENCH_ANTHROPIC=1を設定）。 -
リグレッションフラグ — スクリプトは、次の場合に
> ⚠ Regressionの通知を出力します。- 最初の実行から最後の実行にかけて勝率が低下した場合
- 最初の実行から平均レイテンシが 1.5 倍以上増加した場合
関連項目
cost-benchmark— このスキルが使用する実行結果の JSON を生成しますbench/booster-corpus.json— 各実行結果にコーパスのバージョンが記録されるため、コーパスのバージョンをまたぐトレンドも解釈できますdocs/benchmarks/runs/latest.json— 最新の実行結果です。スモークステップ 23 では、このファイルのwinRate ≥ 0.80を合格条件とします
コメント
Markdown 対応