judgment

Judgment

このスキルは、アプリケーションの計測、出力の評価、Code judge の作成、最新の Judgment ドキュメントの参照など、一般的なエージェント開発のワークフロー全般で Judgment を効果的に活用するのに役立ちます。

基本原則

Judgment を使う際は、以下の原則に従ってください。

1. まずドキュメントを確認する：SDK のパターンを記憶だけに頼って実装する前に、最新の Judgment ドキュメントを取得し、リファレンスファイルを参照してください。
2. 実際の実行経路を計測する：アプリケーションが実際に実行する関数、ツール、LLM 呼び出しにトレースを追加してください。
3. 統合ではまずトレースから：ユーザーが評価や Code judge を明示的に求めていない限り、アプリケーションへの Judgment の追加を依頼されたら、まず references/tracing.md を確認してください。
4. トレーサーの機能範囲を守る：ほとんどの場合、Judgment のトレーサー、ラッパー、ドキュメントに記載された統合を直接使用してください。現行のドキュメントで必要とされている場合、またはサポート対象の統合を利用しても実際に計測上の不足が残る場合を除き、基盤となるプロバイダーオブジェクトに直接アクセスしたり、追加のラッパー層を作成したりしないでください。
5. 小さく始める：評価では、対象を絞ったサンプルセットと 1 つのスコアラーから始めて、段階的に拡張してください。
6. 適切なスコアラーを使う：ルーブリックに基づく判定には Agent judge、決定論的なロジック、カスタム依存関係、またはトレースの検査には Python Code judge を使用してください。
7. 認証情報をチャットに貼らない：シークレットを貼り付けるのではなく、ユーザーに JUDGMENT_API_KEY と JUDGMENT_ORG_ID をローカルで設定するよう依頼してください。
8. 本番環境を変更する前にオフラインでエージェントをテストする：モデル、プロンプト、ツール、またはエージェント設定を変更する場合は、安定したデータセットを取得し、各入力について新しい OfflineTracer トレースを収集してから、生成したオフラインの例を一括で評価してください。本番環境のエージェントですでに Judgment によるトレースが行われている場合は、そのトレース設定を維持し、テストハーネスの初期化のみを client.offline_tracer(...) に切り替えてください。

ユースケース別リファレンス

• トレースの追加または監査：references/tracing.md
• 評価の作成とスコアラーの選択：references/evaluations.md
• OfflineTracer によるエージェント変更のテスト：references/agent-testing.md
• Python Code judge の作成：references/code-judges.md
• Judgment のドキュメントと SDK リファレンスの利用：references/docs.md