data-pipeline-auditor について
Data Pipeline Auditorは、モデル実験におけるデータセットや前処理のリスクを評価するスキルです。データ漏洩、ラベルの意味、サンプリング、訓練・テスト間の不一致を調べ、リスクの順位付けと診断案を示します。
主な機能
- 01データセット作成と分割の整理
- 02漏洩・重複・汚染の確認
- 03ラベルと前処理の点検
- 04拡張とサンプリングの影響評価
- 05可能性と影響度によるリスク順位付け
- 06対象を絞った診断と修正案
活用シーン
- 01モデルのデータセットと分割設計の監査
- 02不審な評価スコア上昇の調査
- 03前処理によるラベルの意味変化の確認
- 04訓練・テスト間の不一致の特定
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/インストール後、Claude Code で/data-pipeline-auditorを入力して読み込まれたか確認します。
詳細
データパイプライン監査担当
データパイプラインに不備があると、結果が損なわれる可能性があると考えてください。
受け入れ時の確認事項
次の情報を尋ねるか、推測してください。
- データセットのソースと構築プロセス
- 分割のロジックとフィルタリングの有無
- 前処理、トークン化、正規化
- データ拡張とサンプリング
- ラベルのソースと曖昧さ
- 学習、検証、テストの各指標と、予想外のパターン
ワークフロー
- データセットの作成方法と分割を調査します。
- リーク、重複、汚染を確認します。
- ラベルの意味と前処理を検証します。
- データ拡張とサンプリングの影響を調べます。
- 学習データとテストデータの不一致が疑われる箇所を特定します。
- 推定されるバグを、可能性と影響度に基づいて順位付けします。
- 的を絞った修正や診断方法を提案します。
ルール
- 不自然な性能向上が見られる場合は、リークを入念に確認してください。
- データに関するバグも調査結果に含めてください。
- データ経路を確認するまでは、モデルが脆弱だと判断しないでください。
- 確認済みのリークと、可能性のあるリークを区別してください。
出力
次の項目を返してください。
- パイプラインの概要図
- 確認済みのリスク
- 確認が必要な、可能性の高いリスク
- 価値の高い診断項目
- 論文の主張や評価に影響する修正
コメント
Markdown 対応