mcpField
A
agent-eval

agent-eval

github.com/colbymchenryテスト・品質75.8k1.8k 回インストール1 日前に更新
リポジトリ

agent-eval について

agent-evalは、CodeGraphがgrepとファイル読み取りのみの場合と比べ、エージェントの作業に与える影響を測る品質監査スキルです。実際のリポジトリで、選択したバージョンをheadless、tmux、または両方の方式で評価します。

主な機能

  1. 01CodeGraphのバージョン、言語、リポジトリの選択
  2. 02headlessとtmuxの評価ハーネス実行
  3. 03ツール呼び出し、読み取り、時間、コストの報告
  4. 04CodeGraphとベースライン結果の比較
  5. 05回答の正確さとフィードバック指標の確認

活用シーン

  1. 01コーパス内のリポジトリでCodeGraphを測定
  2. 02headlessと対話型エージェント実行を比較
  3. 03インデックスによる調査作業の削減を評価
  4. 04評価コストと回答の正確さを確認

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/colbymchenry/codegraph --skill agent-eval

インストール後、Claude Code で/agent-evalを入力して読み込まれたか確認します。

同梱ファイルcorpus.json

詳細

CodeGraph 品質監査

選択した実際のリポジトリ上で、選択したバージョンの CodeGraph が通常の grep/read と比べてエージェントにどれだけ役立つかを測定します。scripts/agent-eval/ のハーネスを実行します。

前提条件

  • tmux 3 以降、ログイン済みの claude CLI、node、git（macOS/Linux）。
  • codegraph リポジトリのルートから実行してください。

ワークフロー

このチェックリストをコピーします：

- [ ] 1. Pick version (local or npm)
- [ ] 2. Pick language
- [ ] 3. Pick repo by size
- [ ] 4. Pick harness (headless / tmux / both)
- [ ] 5. Run audit.sh in the background
- [ ] 6. Report results

ステップ 1 — バージョン。 テストする codegraph のバージョンを AskUserQuestion で尋ねます。「ローカル開発ビルド」と「最新の公開版」を提示します。自由入力の「その他」では、特定のバージョン（例：0.7.10）を入力できます。回答を VERSION トークンに対応付けます：

  • 「ローカル開発ビルド」 → local
  • 「最新の公開版」 → latest
  • 入力されたバージョン → その文字列（例：0.7.10）

ステップ 2 — 言語。 .claude/skills/agent-eval/corpus.json を読み込みます。エントリーのある言語を一覧表示し、テストする言語を AskUserQuestion で尋ねます。

ステップ 3 — リポジトリ。 選択した言語のエントリーから、テストするリポジトリを尋ねます。各選択肢にはサイズとファイル数を付記します。例：excalidraw — Medium (~600 files)。各エントリーには repo URL と代表的な question が含まれます。

ステップ 4 — ハーネス。 実行するハーネスを AskUserQuestion で尋ね、回答を MODE トークンに対応付けます：

  • 「ヘッドレス」 → headless — stream-json を使った claude -p：トークン数とコストを正確に取得し、明確なツール実行順序を記録します（2 回実行、高速、TTY 不要）。
  • 「インタラクティブ（tmux）」 → tmux — tmux 内で実際の Claude TUI を操作します。Explore サブエージェントの挙動を忠実に再現し、セッションログからメトリクスを取得します（2 回実行、低速）。
  • 「両方」 → all — ヘッドレス＋インタラクティブ（4 回実行）。

ステップ 5 — 実行。 バックグラウンドで起動します（バージョンを設定し、存在しない場合はクローンし、消去して再インデックスを作成し、選択した方式を実行します — 数分かかります）：

scripts/agent-eval/audit.sh <VERSION> <repo-name> <repo-url> "<question>" <MODE>

ステップ 6 — レポート。 ジョブが完了したらログを読み、方式ごとに報告します：

  • ヘッドレス（parse-run.mjs）：ツール呼び出しの合計数、ファイルの Read、Grep/Bash、codegraph ツールの呼び出し数、所要時間、総コスト。
  • インタラクティブ（parse-session.mjs）：VERDICT: codegraph_explore used Nx | Read N | Grep/Bash N と TOKENS: の行。
  • どちらの方式でも、3 つのフィードバックメトリクス（残存コンテキスト占有率、探索の十分性、割り当て効率）が出力されます。また、ヘッドレス A/B の最後には、並べて比較する ARM COMPARISON 表が出力されます。この表を報告し、まず汚染の行を確認してください。CLI calls that RETURNED output が 0 より大きい場合、その方式では Bash 経由で codegraph にアクセスしており、数値は無効です。ほかの項目の読み方は docs/benchmarks/agent-eval-feedback-metrics.md を参照してください。

コストとツール／Read の件数を最初に示してください。これらが信頼できる指標です。生のトークン入出力数は、サブエージェントへの委譲とプロンプトキャッシュの影響を受けます。codegraph によって作業量が減ったか、両方の方式で正しい回答に到達したかを明記してください。

注意事項

  • インデックスは毎回作り直されます（audit.sh が .codegraph を消去します）。バージョンによって抽出方法が異なるため、インデックスの提供には、作成時と同じバイナリを使用する必要があります。
  • audit.sh はテスト中、グローバルな codegraph のインストールを一時的に変更し、その後 local-install.sh で開発用リンクを復元します。
  • コーパスのリポジトリは /tmp/codegraph-corpus にクローンされます（すでに存在する場合は再利用されます）。
  • corpus.json でリポジトリを追加または編集します（フィールド：name、repo、size、files、question）。

コメント

Markdown 対応