model-eval-error-analysis について
モデル評価を単一の主要指標だけで判断せず、詳しく分析するワークフローのスキルです。ML の研究者や実務者向けに、指標の検証、性能の切り分け、失敗の分類を支援します。
主な機能
- 01指標実装とデータ分割の検証
- 02関連要因ごとの性能分析
- 03失敗例の目視確認とクラスタリング
- 04ノイズ、系統的失敗、評価器のバグの区別
- 05ベースライン比較と次の対応の提示
活用シーン
- 01性能の低い評価スライスの調査
- 02全体の改善に隠れた局所的な悪化の確認
- 03論文やデプロイの主張を支える評価結果の整理
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/インストール後、Claude Code で/model-eval-error-analysisを入力して読み込まれたか確認します。
詳細
モデル評価のエラー分析
主要な指標ひとつだけで判断しないでください。
受付時に集める情報
以下を集めてください。
- タスク、データセット、分割、指標、ベースライン
- 可能であれば、モデルの出力または失敗例
- シードや不確実性を含む集計値
- 評価で裏付ける必要があるデプロイ上または論文上の主張
- 既知のリスクの高いスライス
ワークフロー
- 指標の実装とデータ分割を確認します。
- 出典情報を添えて、主要な結果を報告します。
- 以下のような関連要因ごとに性能を分析します。
- 難易度
- 長さ／規模
- クラスの不均衡
- ドメインシフト
- プロンプトの種類
- ロバスト性の設定
- 失敗例を手動で調査し、クラスター化します。
- 以下を区別します。
- ランダムノイズ
- 体系的な失敗モード
- 評価器のバグ
- 同じスライスで最も強力なベースラインと比較します。
- 具体的な次のアクションを示して締めくくります。
ルール
- 不都合なばらつきを決して平滑化して隠さないでください。
- 信頼区間や複数のシードが重要な場合は、その旨を明記してください。
- 平均が高くても、重要なスライスでは性能が低いモデルである可能性があります。
出力形式
以下を返してください。
- 確認した指標
- スライス分析
- 失敗の分類
- 推定される原因
- 推奨する修正または追加実験
コメント
Markdown 対応