dataset-curation

データセットキュレーションの方法論

バイアス、公平性、品質に配慮しながら、研究者によるデータセットのキュレーション、分析、拡張を支援します。

ステップ 1：分布分析

キュレーションを行う前に、現在の状態を把握します。

クラスごとの分布

• クラス／ラベル／タグごとのインスタンス数を数えます
• 不均衡比（最大件数 / 最小件数）を計算します
• 著しく過少にしか含まれていないクラス（最大クラスの 5% 未満）を特定します
• 可視化：クラスの頻度を件数順に並べた棒グラフ

共起分析

• 共起行列を作成します：どのラベルが一緒に現れるかを確認します
• 偽の相関を特定します（例：「暴力」が常に「男性」と共起する）
• 分割間でラベルリークがないか確認します

メタデータの分布

• ソースの多様性：いくつのソース／映画／ドキュメントが含まれているか
• 時間的な分布：すべての時代が含まれているか
• コンテンツの多様性：ジャンル、スタイル、対象領域の網羅性

ステップ 2：バイアス評価

特定された不均衡や相関ごとに、以下を確認します。

1. 現実世界を反映しているか？ 不均衡には、実際の現象を反映しているものもあります
2. 有害か？ このデータで学習したモデルは、不公平な予測を行う可能性がありますか？
3. 修正可能か？ データを追加収集する、リサンプリングする、または重み付けすることで対処できますか？

公平性の観点

関連する保護対象属性に沿ったバイアスを確認します。

• ジェンダー表現（該当する場合）
• 人種／民族の表現（該当する場合）
• 年齢分布（該当する場合）
• 地理的／文化的多様性（該当する場合）

バイアス指標

• 人口統計的パリティ：グループ間で陽性率が等しいこと
• 均等化オッズ：グループ間で TPR と FPR が等しいこと
• 表現比率：データ内のグループの割合と人口に占める割合の比較

ステップ 3：層化サンプリング

分割（訓練／検証／テスト）を作成する場合：

1. 第 1 層の層化：ラベル／クラスの分布に基づく
2. 第 2 層の層化：ソースに基づく（分割間のソースリークを防ぐ）
3. 検証：
   • 分割間のラベル分布の類似性をカイ二乗検定で確認
   • 分割間でソースが重複していないこと
   • 各分割で、希少クラスが最低限含まれていること

分割比率はデータセットのサイズによって異なります。

• 大規模（>50k）：80/10/10 または 90/5/5
• 中規模（5k-50k）：70/15/15 または 80/10/10
• 小規模（<5k）：k 分割交差検証を推奨

ステップ 4：品質評価

ラベル付きデータセットでは、アノテーションの品質を評価します。

• アノテーター間一致度：Cohen のカッパ係数、Fleiss のカッパ係数、または Krippendorff のアルファ係数
• ラベルノイズの推定：N 個のラベルをサンプリングし、手作業で検証します
• エッジケース：アノテーター間で意見が分かれる可能性のある曖昧な例を特定します
• 一貫性チェック：ラベルの妥当性を確認する自動ルール

ステップ 5：拡張に関する提案

データセットにデータを追加する必要がある場合：

1. 優先クラス：どのクラスがデータ追加の恩恵を最も受けるか
2. ソースの提案：過少にしか含まれていないクラスのデータをどこから追加できるか
3. 収集戦略：能動学習、対象を絞ったスクレイピング、合成データによる拡張
4. コストの見積もり：各アプローチに必要な時間とリソース

ステップ 6：倫理審査チェックリスト

データセットを利用または公開する前に：

• コンテンツの機微性：データに機微な内容が含まれていますか？
• 同意：適切な同意を得てデータを収集しましたか？
• プライバシー：個人を特定できますか？匿名化が必要ですか？
• ライセンス：データソースをライセンス条件に従って利用していますか？
• 潜在的な害：データセットが悪用される可能性はありますか？
• ドキュメント：データシート／データカードを用いてデータセットを文書化していますか？

出力形式

以下を作成します。

1. 分布レポート：クラスごとの件数、不均衡比、共起行列
2. バイアスの所見：特定されたバイアス、その深刻度、対処可能性
3. 分割の推奨事項：検証結果を含む層化戦略
4. 拡張計画：ギャップへの対処に向けた優先順位付きの提案
5. 倫理チェックリスト：各項目のメモを添えた記入済みチェックリスト