mcpField
M
model-evaluation-benchmark

model-evaluation-benchmark

github.com/rysweetテスト・品質76159 回インストール21 週間前に更新
リポジトリ

model-evaluation-benchmark について

Benchmark Suite V3 を使い、再現可能なエンドツーエンドのモデル評価を実行するエージェントスキルです。効率、コード品質、ワークフロー遵守、生成物を比較し、レポート作成と後片付けまで行います。

主な機能

  1. 01Benchmark Suite V3 のタスク実行
  2. 02所要時間、ターン数、コスト、ツール呼び出しの測定
  3. 03レビュアーエージェントによるコード品質評価
  4. 04ワークフロー遵守と生成物の確認
  5. 05レポート作成とベンチマーク資源の後片付け

活用シーン

  1. 01複数の AI モデルの性能を比較する
  2. 02エージェントのワークフロー遵守を測定する
  3. 03再現可能なベンチマークレポートを作成する

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/rysweet/amplihack --skill model-evaluation-benchmark

インストール後、Claude Code で/model-evaluation-benchmarkを入力して読み込まれたか確認します。

詳細

モデル評価ベンチマークスキル

目的：Benchmark Suite V3 のリファレンス実装に従って、包括的なモデル評価ベンチマークを自動的に再現します。

自動的に有効になる場合：エージェント型ワークフローで、AI モデルのベンチマーク、比較評価、またはパフォーマンステストをユーザーが依頼した場合です。

スキルの説明

このスキルは、以下を測定するエンドツーエンドのモデル評価ベンチマークを実行します。

  • 効率性：所要時間、ターン数、コスト、ツール呼び出し数
  • 品質：レビュアーエージェントによるコード品質スコア
  • ワークフローの遵守状況：サブエージェントの呼び出し、使用したスキル、ワークフロー手順の遵守状況
  • 成果物：GitHub のイシュー、PR、生成されたドキュメント

このスキルは、v3 リファレンス実装に従って、実行からクリーンアップまでベンチマークのワークフロー全体を自動化します。

使用するタイミング

✅ 次の場合に使用します：

  • AI モデルを比較する場合（Opus と Sonnet など）
  • ワークフローの遵守状況を測定する場合
  • 包括的なベンチマークレポートを生成する場合
  • 再現可能なベンチマークが必要な場合

❌ 次の場合は使用しないでください：

  • シンプルなコードレビュー（reviewer を使用）
  • パフォーマンスプロファイリング（optimizer を使用）
  • アーキテクチャの決定（architect を使用）

実行手順

このスキルが呼び出されたら、次の手順に従います。

フェーズ 1：セットアップ
  1. tests/benchmarks/benchmark_suite_v3/BENCHMARK_TASKS.md を読みます
  2. ベンチマーク対象のモデルを特定します（デフォルト：Opus 4.5、Sonnet 4.5）
  3. すべてのフェーズを含む TodoWrite リストを作成します
フェーズ 2：ベンチマークの実行

タスクとモデルの各組み合わせについて：

cd tests/benchmarks/benchmark_suite_v3
python run_benchmarks.py --model {opus|sonnet} --tasks 1,2,3,4
フェーズ 3：結果の分析
  1. すべての結果ファイルを読みます：~/.amplihack/.claude/runtime/benchmarks/suite_v3/*/result.json
  2. subagent_type="reviewer" を指定して Task ツールを並列で呼び出し、次の作業を行います：
    • トレースログからツール／エージェント／スキルの使用状況を分析する
    • コード品質を評価する（1～5 の尺度）
  3. 分析結果をまとめます
フェーズ 4：レポートの生成
  1. BENCHMARK_REPORT_V3.md の構成に従って Markdown レポートを作成します
  2. レポートを含む GitHub イシューを作成します
  3. 成果物を GitHub リリースにアーカイブします
  4. リリースへのリンクでイシューを更新します
フェーズ 5：クリーンアップ（必須）
  1. すべてのベンチマーク PR をクローズします：gh pr close {numbers}
  2. すべてのベンチマークイシューをクローズします：gh issue close {numbers}
  3. ワークツリーを削除します：git worktree remove worktrees/bench-*
  4. クリーンアップが完了したことを確認します

詳しいクリーンアップ手順については、tests/benchmarks/benchmark_suite_v3/CLEANUP_PROCESS.md を参照してください。

使用例

User: "Run model evaluation benchmark"Assistant: I'll run the complete benchmark suite following the v3 reference implementation.

[Executes phases 1-5 above]

Final Report: See GitHub Issue #XXXX
Artifacts: https://github.com/.../releases/tag/benchmark-suite-v3-artifacts

参考資料

  • 参考レポート：tests/benchmarks/benchmark_suite_v3/BENCHMARK_REPORT_V3.md
  • タスク定義：tests/benchmarks/benchmark_suite_v3/BENCHMARK_TASKS.md
  • クリーンアップガイド：tests/benchmarks/benchmark_suite_v3/CLEANUP_PROCESS.md
  • 実行スクリプト：tests/benchmarks/benchmark_suite_v3/run_benchmarks.py

最終更新日：2025-11-26 リファレンス実装：Benchmark Suite V3 GitHub イシューの例：#1698

コメント

Markdown 対応