training-data-annotation

トレーニングデータのアノテーション

アノテーションは、測定システムであり、人間が担うワークフローでもあると捉えます。目的は、ラベルの数をできるだけ増やすことではなく、明確に定義された下流の意思決定に役立つ、監査可能なラベルを作成することです。

ワークフロー

1. 下流タスク、対象母集団、ラベルの単位、ラベルセット、境界事例、棄権ラベル、使用不能な項目の定義を明確にします。サンプリングの前に、トレーニングデータ、検証データ、ホールドアウト評価データ、チャレンジデータを分けます。
2. 肯定例と否定例、境界のルール、情報源の要件、エスカレーション、変更履歴を含むアノテーションガイドを作成します。重要な定義については、担当するドメインオーナーの承認を得ます。
3. 出所と権利を明確にします。情報源、収集時期、ライセンス／同意、変換処理、機微なフィールド、アクセス、保持／削除、データセットのバージョンを記録します。この記録が明確になるまで、データをラベリングシステムに移さないでください。
4. 代表性のあるサンプリングと、対象を絞った取得を明示した配分で項目を取得します。不確実性の高い項目からは判断の難しい事例が見つかり、多様性と新規性からは不足部分が見つかります。層化によって、希少なスライスや高リスクのスライスを確実に含めます。取得バッチを識別可能な状態に保ち、代表性のあるホールドアウト監査サンプルを維持します。
5. タスクに対するアノテーターの適性を確認し、キャリブレーション用の項目でトレーニングを行い、品質と作業負荷を測定します。役割と関連する専門性は、アクセスを制限したメタデータに記録します。一致率を、普遍的な正確性の指標として使わないでください。
6. 盲検でのキャリブレーションと、定期的な盲検再確認を実施します。参照ラベルが裁定済みの場合はそれと比較し、意味のある不一致、曖昧さ、棄権を保ち、無理に合意させないようにします。
7. 項目、ラベル、スライス、アノテーター、ガイドのバージョンごとに不一致を確認します。明示されたルールと適格な権限者がある場合に限って裁定します。ガイドの問題が確認された場合は、その内容をトレーニングに反映し、影響を受けるラベルを再確認します。
8. 下流で得られる限界価値、カバレッジ、品質、コスト、時間を基に、作業を継続するか停止するかを判断します。項目数のノルマは支出を止める目安にはなりますが、それだけで品質が十分だとは判断できません。マニフェストを固定し、保存／オーケストレーションを担当するデータエンジニアリングと、トレーニングでの利用を担当する機械学習エンジニアリングに引き継ぎます。

データ取得のガードレール

モデルの信頼度だけでデータセット全体を定義しないでください。アクティブラーニングによる選定とは独立して、代表性のあるホールドアウト監査サンプルを抽出し、アクティブバッチの結果と比較します。不確実性の推定方法、モデル／バージョン、シード、選定スコア、スライスごとの割り当て数、除外項目を追跡します。信頼度が適切に較正されていない場合や、モデルが分布外のデータを扱っている場合は、その順位付けを検索上のヒューリスティックとして扱い、多様性、新規性、人間によるレビューを増やします。

人間と品質に関するガードレール

作業者がタスクを確実に遂行できるよう、報酬、作業量、時間制限、休憩、エスカレーションを設計します。雇用、報酬、法律に関する問題は、適切な人間の責任者に回します。独立したラベルを測定する際は、モデルの予測をアノテーターに見せないようにします。事前アノテーションを表示する場合は、盲検化した対照群または別個のレビュー工程によってアンカリングの影響を測定します。結果の解釈に必要な不確実性と有病率を添えて、ラベルの種類とスライスごとに一致率を報告します。項目が曖昧な場合は、少数派のラベルが正しいこともあります。裁定では、適用したルールを説明する必要があります。

振り分けと終了

スキーマとガイドの設計については references/task-and-label-design.mdを、サンプリングと停止についてはreferences/acquisition-and-stopping.mdを、 担当者と意見の相違についてはreferences/annotator-quality.mdを、 データセットの権限についてはreferences/provenance-and-rights.mdを読みます。永続的な記録が必要な場合は、テンプレートを使用します。 主要な方法論に関する資料と適用範囲の限界については、 references/source-index.mdを読みます。

統計的推定量と検出力はdata-scientistに、 ストレージとパイプラインはdata-engineeringに、モデルの トレーニングとデータリークのチェックはml-engineeringに、ラベリングインターフェースのインタラクション設計はproduct-design-and-uxに振り分けます。

使用しない場合

統計的推論や実験計画、データプラットフォーム、モデルのトレーニング、UI 実装の主担当として、このスキルを使用しないでください。 これらの隣接するスキルでは、このスキルのアノテーションマニフェストと品質に関する根拠を利用します。

テンプレート

• アノテーションガイド — アノテーションワークフローのこの段階を記録する場合に使用します。
• アノテーション計画 — アノテーションワークフローのこの段階を記録する場合に使用します。
• 品質レポート — アノテーションワークフローのこの段階を記録する場合に使用します。