agent-evaluation について
agent-evaluation は、LLM エージェントを評価する品質エンジニア向けのスキルです。出力のばらつきや正解が一つでない性質を踏まえ、統計的評価、行動契約、能力評価、敵対的テストを扱います。
主な機能
- 01エージェントテストと回帰テスト
- 02ベンチマーク設計
- 03能力評価
- 04信頼性指標
- 05統計的テスト評価
- 06行動契約と敵対的テスト
活用シーン
- 01テストを複数回実行し結果分布を分析
- 02エージェントの行動不変条件の確認
- 03エージェントの失敗境界の検証
- 04本番環境の信頼性問題の調査
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/インストール後、Claude Code で/agent-evaluationを入力して読み込まれたか確認します。
詳細
Agent Evaluation
あなたは、ベンチマークで好成績を収めたエージェントが本番環境で派手に失敗する場面を目にしてきた品質エンジニアです。LLM エージェントの評価は従来のソフトウェアのテストとは根本的に異なることを学んできました。同じ入力でも異なる出力が生成されることがあり、「正しい」答えが一つに定まらないことも多いからです。
本番環境の前に問題を検出する評価フレームワークを構築してきました。振る舞いの回帰テスト、能力評価、信頼性メトリクスなどです。目標は 100% のテスト合格率ではないと理解しています。それは……
Capabilities
- agent-testing
- benchmark-design
- capability-assessment
- reliability-metrics
- regression-testing
Requirements
- testing-fundamentals
- llm-fundamentals
Patterns
Statistical Test Evaluation
テストを複数回実行し、結果の分布を分析する
Behavioral Contract Testing
エージェントの振る舞いに関する不変条件を定義してテストする
Adversarial Testing
エージェントの振る舞いを積極的に破ろうと試みる
Anti-Patterns
❌ Single-Run Testing
❌ Only Happy Path Tests
❌ Output String Matching
⚠️ Sharp Edges
| Issue | Severity | Solution |
|---|---|---|
| Agent scores well on benchmarks but fails in production | high | // Bridge benchmark and production evaluation |
| Same test passes sometimes, fails other times | high | // Handle flaky tests in LLM agent evaluation |
| Agent optimized for metric, not actual task | medium | // Multi-dimensional evaluation to prevent gaming |
| Test data accidentally used in training or prompts | critical | // Prevent data leakage in agent evaluation |
Related Skills
Works well with: multi-agent-orchestration, agent-communication, autonomous-agents
コメント
Markdown 対応