agent-evals-and-observability

エージェントの評価と可観測性

評価では、宣言されたデータセットまたは本番環境のサンプルにおいて、動作が定義された基準を満たしているかを確認します。可観測性では、トレース、ログ、メトリクス、相関関係、診断コンテキストを提供します。両方を活用してください。一方の証拠が、もう一方の役割を果たすことはありません。

ワークフロー

1. 判断事項、リスク、タスク契約、軌跡契約、許容できない結果を定義します。証拠は、段階的な完全性の尺度ではなく、危害、可逆性、デプロイ段階に応じて選択します。
2. バージョンを比較する前に、不変のデータセットバージョンとマニフェストを作成します。来歴、権利／同意、スライス、フィクスチャ、予期される副作用、汚染リスク、制約、保持期間、変更履歴を明記します。
3. 主張する特性を観察できる、相補的な評価器を選択します。観察可能な仕組みには決定論的なチェックを使用します。状態や副作用には実行／環境チェックを使用します。適切に、人間によるレビュー、モデル判定、ペアワイズ／ランキング、ドメインレビュー、安全性レビューを活用します。
4. 候補とベースラインを、比較可能な条件下で実行します。判断にばらつきが影響する場合は、実行設定、確率的な条件での反復、失敗／タイムアウト、軌跡の証拠を保持します。
5. 多次元のプロファイルと不確実性を報告します。可能な場合はペア比較を使用し、スライス、欠損、ベースレート、交絡因子、効果量、多重比較を確認します。統計的に有意でないことは、同等性を意味しません。
6. リスク階層に基づくリリースゲートを適用します。安全性、プライバシー、認可、副作用に関する不変条件を平均化して帳消しにしてはなりません。権限、不十分な証拠という結果、ロールバック、フォローアップを記録します。これらの証拠をアーティファクトの昇格、デプロイ、ロールバック、またはより広範なリリース列に組み込む必要がある場合は、release-engineering を読み込みます。
7. 本番環境に、必要最小限の秘匿化済みテレメトリを計装します。同意、変換、汚染のレビューを経たうえで、検証済みのインシデントやニアミスをケースに反映します。

評価で介入の詳細が必要な場合は、既存の集計件数と、任意の型付きイベントを分けて管理します。イベントの詳細がない場合は、収集されていないことを意味し、ゼロであることを意味しません。質問への回答に必要なフィールドのみを収集し、生のメッセージと隠れた推論はデフォルトで除外します。件数の減少だけを成功とみなさないでください。軌跡レビューを参照してください。

判断の根拠、証拠の不足、残存リスク、責任者を記録したら終了します。必要な証拠が入手できない場合や、証拠が矛盾する場合は、合格と推測せず、エスカレーションしてください。

必要に応じて読み込む

必要な情報	読み込むファイル
タスクに関連する発見、外部成果物、委任された利用、または新しいセッションでの再発を比較する	references/agent-interface-enrichment.md
教訓の候補を昇格する前に検証し、再発を確認する	references/lesson-validation.md
評価の証拠と契約を選択する	references/evaluation-design.md
パフォーマンス、診断、リプレイの証拠を区別し、オフライン指標をオンライン指標に結び付ける	references/evidence-modes-and-metric-mirrors.md
不変のケース、フィクスチャ、来歴を構築する	references/datasets.md
採点者を選択または調整する	references/graders.md
判定者の安定性、判断保留、エスカレーションを検証する	references/judge-stability.md
証拠の都合のよい選択、過剰な結論、またはワークフロー内の範囲を限定したプローブを確認する	references/grounding-probes.md
要求された機械可読な証拠を提供する、または複数の評価成果物を結合する	references/decision-audit-record.md および templates/decision-audit-record.json
根拠に基づく主張を評価し、RAG の失敗要因を特定する	references/grounding-attribution.md
指標を定義する、または実行結果を比較する	references/metrics-and-statistics.md
エージェント内の範囲を限定した Choice/Score/Noul 判定モデルまたは GLiNER 分類器を評価する	質問の契約、保留ラベル、確率が存在する場合のキャリブレーション、モデルレベルのレイテンシについては system-one を使用し、エージェントのエンドツーエンドのタスクと軌跡の証拠にはこのスキルを使用します
ツール、状態、リカバリー、または副作用をレビューする	references/trajectory-review.md
任意の、プライバシーの範囲を限定した人間による介入の詳細を記録する	references/trajectory-review.md#optional-intervention-events
リグレッションをトリアージする、またはリリース準備状況を判断する	references/regression-and-release.md
トレース、ログ、メトリクス、またはプライバシー制御を設計する	references/production-observability.md
OpenTelemetry と相互運用する	references/opentelemetry-genai.md
フレームワーク固有の実装が必要	references/framework-routing.md
安全なプローブで手法を実践する	references/synthetic-scenarios.md
公式ハーネスでエージェントの Supabase タスク能力をベンチマークする	Supabase エージェント評価のリファレンス
出典の主張またはステータスを検証する	references/source-index.md

テンプレート

templates/eval-plan.md、templates/interface-enrichment-comparison.md、templates/dataset-manifest.md、templates/grader-specification.md、templates/trace-review.md、templates/run-report.md、templates/release-gate.md、および templates/metric-mirror.md を使用してください。これらは意思決定の記録であり、証拠を捏造するチェックリストではありません。

根拠に基づく主張が意思決定を左右する場合に限り、グラウンディングプローブを使用してください。重要な限定条件と、証拠が提案されたアクションを裏付けているかを確認し、引用された文だけに注目しないでください。個別の所見、プローブのエラー、不明な結果を分けて記録してください。プローブのスコアだけでアクションを許可することはできません。

ガードレール

• スカラー値のスコア、キーワードの一致、スキーマ検証、または出力の反復を、それぞれが直接観察する性質を超えた証拠として使用しないでください。
• プロンプト、出力、ツールの引数、中間推論、認証情報、個人データをデフォルトで取得しないでください。エクスポート前に最小化し、早い段階で機密情報を削除し、アクセスを制限し、保持・削除の手順を定め、インシデント対応に備えてください。
• 人間の判断を決定的な真実として扱わないでください。人間とモデルによる評価には、明示的な評価基準、調整、不一致の分析、条件変更時の再検証が必要です。
• 本番環境での実態を反映するサンプルと、リスクを高めたチャレンジケースは分けてください。一方を他方に暗黙のうちに再重み付けしないでください。

使用しない場合

修正を提案する前に、現在発生している単一の不具合を調査するにはsystematic-debuggingを使用してください。一般的な、エビデンスに基づく完了の主張にはverification-methodologyを、予防的な制御の設計にはsecure-software-engineeringを、SDK固有のコードにはフレームワークのスキルを使用してください。公式のスコア付きシナリオでSupabaseのタスクに対するエージェントの能力をベンチマークするには、supabase agent evals referenceを使用してください。このスキルが扱うのは方法論であり、特定のハーネスではありません。