training-data-annotation

训练数据标注

将标注视为一种测量系统和人工工作流。目标是为明确的下游决策提供有用、可审计的标签，而不是尽可能增加标签数量。

工作流

1. 明确下游任务、目标人群、标签单元、标签集、边界情况、弃答标签，以及什么情况属于不可用条目。在抽样前，分开划分训练数据、验证数据、留出评估数据和挑战数据。
2. 编写标注指南，其中包含正例和反例、边界规则、来源要求、升级处理方式和变更日志。让领域负责人审批影响重大的定义。
3. 明确数据来源和权利：来源、收集时间、许可/同意、转换方式、敏感字段、访问权限、保留/删除方式和数据集版本。记录尚未明确前，不要将数据移入标注系统。
4. 采用有声明的代表性抽样与定向采集组合来获取条目。不确定性可找出令人困惑的条目；多样性和新颖性可发现空缺；分层抽样可保护稀有或高风险切片。确保各采集批次可识别，并保留具有代表性的留出审计样本。
5. 确认标注人员具备任务所需的能力，通过校准条目对其进行培训，并衡量质量和工作量。在受限元数据中记录其角色和相关专业知识。不要将一致性视为普适的真实性评分。
6. 开展盲法校准，并定期进行盲法复查。在可用时，将标签与经过裁定的参考标签进行比较；保留有意义的分歧、歧义和弃答，不要强求达成共识。
7. 按条目、标签、切片、标注人员和指南版本审查分歧。仅依据明确规则并由具备资质的权威人员进行裁定。将确认的指南缺陷反馈到培训中，并重新审查受影响的标签。
8. 根据边际下游价值、覆盖率、质量、成本和时间，决定停止还是继续。条目配额可以限制支出，但不能单独证明质量已足够。冻结清单，并移交给数据工程团队负责存储/编排，移交给机器学习工程团队用于训练。

采集护栏

绝不要让模型置信度决定整个数据集。独立于主动学习选择，抽取具有代表性的留出审计样本，并将主动采集批次的结果与之比较。跟踪不确定性方法、模型/版本、随机种子、选择分数、切片配额和排除条目。如果置信度未经校准，或模型遇到分布外数据，则将其排序视为搜索启发式，并增加多样性、新颖性和人工审查。

人员与质量护栏

合理设计薪酬、工作量、时限、休息和升级处理机制，确保工作人员能够可靠地完成任务；将就业、薪酬和法律问题转交给相应的人类负责人。衡量独立标签时，应对标注人员隐藏模型预测结果。如果展示预标注结果，应通过盲法对照或单独的复审环节衡量锚定效应。按标签类型和切片报告一致性，并提供解读所需的不确定性和流行率信息。当条目存在歧义时，少数意见标签也可能正确；裁定时必须说明所采用的规则。

路由与退出

有关模式和指南设计，请加载 references/task-and-label-design.md；有关抽样与停止，请加载 references/acquisition-and-stopping.md；有关人员与分歧，请加载 references/annotator-quality.md；有关数据集权属，请加载 references/provenance-and-rights.md。需要留存记录时，请使用模板。 有关主要方法论来源和迁移限制，请阅读 references/source-index.md。

统计估计量和统计功效请交由 data-scientist 处理，存储和流水线请交由 data-engineering 处理，模型训练和数据泄漏检查请交由 ml-engineering 处理，标注界面交互设计请交由 product-design-and-ux 处理。

不适用情形

不要将此技能作为统计推断或实验设计、数据平台、模型训练或 UI 实现的主要负责方。 这些相关技能会使用此技能的标注清单和质量证据。

模板

• 标注指南 — 用于记录标注工作流的这一阶段。
• 标注计划 — 用于记录标注工作流的这一阶段。
• 质量报告 — 用于记录标注工作流的这一阶段。