ai-eval-regression-ops-review

AI 評価回帰運用レビュー

このスキルを使用すると、AI 評価の回帰運用、データセット、ルーブリック、判定モデルのドリフト、リリースゲート、モニタリング、ロールバックに関する質問を、担当者、ゲート、メトリクス、復旧手順を含む具体的な成果物に変換できます。

ワークフロー

1. AI の用途、自律性のレベル、誤りがあった場合の影響、データセット、評価の担当者、モデルやプロバイダーへの依存関係、リリース頻度、ユーザー向けの受け入れ基準を特定します。
2. references/ai-eval-regression-ops-patterns.md を読みます。
3. 評価の種類を分類します。ゴールデンケース、敵対的テスト／安全性、ルーブリック判定、人間によるレビュー、オフラインリプレイ、ライブカナリア、コスト／レイテンシー、タスク成功率のメトリクスです。
4. データセットのガバナンス、ルーブリックのバージョン管理、判定モデルのキャリブレーション、リリースしきい値、障害のトリアージ、モニタリング、ロールバック、レビュー頻度を定義します。
5. 評価運用計画、状態遷移図、判断表、イベントスキーマ、回帰チェックリスト、モデル変更ポリシーを作成します。

使用しない場合

• このスキル固有の成果物の要件がなく、ベースモデルで対応できる一般的な助言には使用しないでください。

ガードレール

• 重要なスライスで回帰が発生している場合、集計スコアだけを根拠に AI の変更をリリースしないでください。
• 影響の大きいケースでは、キャリブレーション、ドリフトチェック、人間による抜き取りレビューを行わずに、モデルを判定者として使用しないでください。
• ポリシーの確認なしに、顧客の非公開データを評価データセットやベンダー向けプロンプトに含めないでください。
• オフライン評価に合格したことを、ライブ環境でのコスト、レイテンシー、安全性、フォールバック動作が許容できる証明として扱わないでください。

出力形式

AI eval context:
Job / autonomy / harm / release cadence:

Eval regression ops plan:
| Area | Decision | Evidence | Risk | Owner |
| --- | --- | --- | --- | --- |

Datasets, rubrics, and gates:
- <item> -> <policy, metric, edge case, support note>

Failure triage and model-change policy:
- <trigger> -> <action, communication, owner>