mcpField
B
behavioral-evals

behavioral-evals

github.com/google-geminiテスト・品質108.6k287 回インストール今日更新
リポジトリ

behavioral-evals について

behavioral-evals は、機能の結果だけでなく、ツール選択などのエージェントの判断を評価するためのガイドです。テストの選択、アサーション、検証に加え、評価の作成・修正・昇格手順も扱います。

主な機能

  1. 01エージェントの判断とツール選択を評価
  2. 02対話要件に応じてテストリグを選択
  3. 03ブレークポイントやツールログでアサート
  4. 04Vitest でローカル検証
  5. 05評価の作成・修正・昇格ガイド

活用シーン

  1. 01プロンプトやツールの変更を検証
  2. 02エージェント動作の回帰を調査
  3. 03対話中心のケースに合う評価方法を選択

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/google-gemini/gemini-cli --skill behavioral-evals

インストール後、Claude Code で/behavioral-evalsを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

assets/
interactive_eval.ts.txt
standard_eval.ts.txt
references/
creating.md
fixing.md
promoting.md
running.md

詳細

動作評価

概要

動作評価（evals）は、純粋な機能ではなく、エージェントの意思決定（ツールの選択など）を検証するテストです。プロンプトの変更を確認し、ステアラビリティをデバッグし、リグレッションを防ぐうえで不可欠です。

メモ

信頼できる唯一の情報源：基本概念、ポリシー、テストの実行、一般的なベストプラクティスについては、常に evals/README.md を参照してください。

🔄 ワークフローの判断ツリー

  1. プロンプト／ツールの変更を検証する必要がありますか？
    • いいえ -> 通常の統合テストを実行します。
    • はい -> 以下に進みます。
  2. UI／インタラクションの比重が高いですか？
    • はい -> appEvalTest（AppRig）を使用します。creating.md を参照してください。
    • いいえ -> evalTest（TestRig）を使用します。creating.md を参照してください。
  3. 新しいテストですか？
    • はい -> ポリシーを USUALLY_PASSES に設定します。
    • いいえ -> リグレッションを固定するため、ALWAYS_PASSES に設定します。
  4. 失敗を修正しますか、それともテストを昇格させますか？
    • 修正する場合 -> fixing.md を参照してください。
    • 昇格させる場合 -> promoting.md を参照してください。

📋 クイックチェックリスト

1. ワークスペースをセットアップする

files オブジェクトを使用して、必要なファイルをワークスペースに用意し、現実的なシナリオ（package.json を含む NodeJS プロジェクトなど）を再現します。

2. アサーションを作成する

rig.setBreakpoint()（AppRig のみ）を使用するか、rig.readToolLogs() のインデックスを確認して、エージェントの判断を監査します。

3. 検証する

Vitest を使用して、個別のテストをローカルで実行します。CI ワークフローに頼る前に、ローカルで安定性を確認してください。

  • 実行コマンドについては、evals/README.md を参照してください。

📦 同梱リソース

手順を詳しく説明したガイド：

  • creating.md：アサーションの方針、Rig の選択、モック MCP。
  • fixing.md：自動調査の手順、アーキテクチャ診断のガイドライン。
  • promoting.md：候補を特定する基準と閾値のガイドライン。

コメント

Markdown 対応