Lilian Weng 2小时前 · 2026-08-31 13:38:34 · 0 阅读

关于高质量人工数据的思考

[特别感谢 Ian Kivlichan 提供了诸多有益的参考资料（例如那篇有上百年历史的 Nature 论文《Vox populi》）以及宝贵的反馈。🙏 ]

高质量数据是当今深度学习模型训练的燃料。大多数任务相关的标注数据来自人工标注，比如分类任务，或用于大语言模型对齐训练的 RLHF 标注（可构造成分类形式）。后文介绍的许多机器学习技术都能帮助提升数据质量，但根本上，人工数据的采集取决于对细节的关注和严谨的执行。社区都深知高质量数据的价值，却隐隐给人这样一种印象——"人人都想做模型工作，没人愿意做数据工作"（Sambasivan et al. 2021）。

人工标注者与数据质量#

采集人工数据涉及一系列操作环节，每个环节都会影响数据质量：

任务设计：设计任务流程以提升清晰度、降低复杂度。详尽的标注指南很有帮助，但篇幅过长、内容复杂的指南需要相当多的培训才能发挥作用。
筛选并培训标注者团队：挑选技能和稳定性匹配的标注人员，并进行必要的培训。入职后，还需要定期反馈与校准。
采集与汇总数据：在这个阶段，可以运用更多机器学习技术来清洗、过滤并智能地聚合数据，以识别真实标签。

质量保证是指通过作用于质量模型中识别出的质量属性来提升质量的一系列措施。（图片来源：Daniel et al. 2018）

群体的智慧#

Vox populi（拉丁语原文为 "Vox populi, vox Dei"）意为"人民的声音"。1907 年，《Nature》上发表了一篇同名短文，记录了一场年度展览上的活动：选出一头肥牛，观众竞猜其体重，最接近真实值者获奖。所有猜测的中位数被视为"人民的声音"，结果与真实值非常接近。作者总结道："这个结果，我认为，比人们预期更能证明民主判断的可信度。"这大概是最早关于众包（"群体的智慧"）如何运作的记载。

大约 100 年后，Callison-Burch (2009) 做了一项早期研究，使用 Amazon Mechanical Turk（AMT）让非专家在机器翻译（MT）任务上完成人工评估，甚至依靠非专家来创建新的高质量参考译文。人工评估的流程很简单：向每位众包工人展示一个源句、一条参考译文以及来自 5 个 MT 系统的 5 条译文，要求他们将 5 条译文从最好到最差进行排序，每条任务由 5 位众包工人完成。

意料之中，存在以刷量为目的的低质量标注者（spammer）。因此，在衡量专家与非专家的一致性时，需要采用不同的加权方案来降低标注者的权重：（1）"按专家加权"：根据在 10 条金标准样例上与专家的一致率来加权；（2）"按非专家加权"：根据在整个数据集上与其他众包工人的一致率来加权。

在一项更困难的任务中，非专家标注者被要求创建新的高质量参考译文。Callison-Burch 将任务设计为两个阶段：第一阶段参照 MT 输出创建新译文，第二阶段过滤掉那些看起来像由 MT 系统生成的译文。最终，专家译文与众包译文之间的相关性，高于专家译文与 MT 系统输出之间的相关性。

（左）通过比较每对翻译句子（"A > B"、"A=B"、"A < B"）来计算一致性比率，因此随机一致性为 1/3，上限由专家之间的一致性比率设定。（右）不同来源翻译的 BLEU 分数对比。LCD（Linguistic Data Consortium）译者提供专家翻译。（图片来源：Callison-Burch 2009）

评分者一致性#

我们通常认为标注的目标是唯一的"标准答案"，并试图依据统一标准来评估其相对于单个黄金答案的质量。寻找可靠的标准答案标签的常见做法是收集多个评分者的标注。假设每个评分者的质量水平不同，我们可以对标注取加权平均，权重由熟练度得分决定。该得分通常用某个评分者与其他人的一致频率来近似估计。

多数投票：多数投票是最简单的聚合方式，等价于取一组标签的众数。在该方法中，每位标注者的贡献相同。

原始一致性（Tratz & Hovy, 2010）：原始一致性统计的是某人获得其他人同意的百分比。这与多数投票间接相关，因为多数类别中的所有成员预期会获得更高的标注者间一致性比率。

Cohen's Kappa（Landis & Koch, 1977）：Cohen's kappa 以 $\kappa = (p_o - p_e) / (1 - p_c)$ 的形式衡量评分者间一致性，其中 $p_o$ 是原始一致性比率，$p_e$ 是随机一致性比率。Cohen's kappa 包含一项针对随机一致的修正项，但当某个标签占比更高时，该修正可能被高估。

概率图模型：有一系列研究借助概率图模型来刻画标注决策中的各种因素，例如任务难度、任务的潜在主题、标注者偏差、标注者置信度等，再据此预测真实标签。Zheng 等人（2017）在众包真值推断任务上对比了 17 种算法，其中大多数都是概率图模型。

MACE（多标注者能力估计；Hovy 等人 2013）是早期使用图模型估计标注者充当“刷子”（即随机给标签）概率的工作。现实中，当激励机制错位时，部分标注者会为了多做任务多拿报酬而充当“刷子”，这并不意外。MACE 的目标就是识别这些刷子。给定任务 $i$ 和标注者 $j$，$T_i$ 表示真实标签，$A_{ij}$ 表示分配的标签，$S_{ij}$ 建模标注者 $j$ 是否在刷标签。生成过程如下所示：参数 $\theta_j$ 表示标注者 $j$ 的可信度（不刷标签的概率），参数 $\xi_j$ 刻画其刷标签时的行为。

$$ \begin{align} & \text{for } i = 1 \dots N : \\ & \quad T_i \sim \text{Uniform} \\ & \quad \text{for } j = 1 \dots M : \\ & \quad \quad S_{ij} \sim \text{Bernoulli}(1 - \theta_j) \\ & \quad \quad \text{if } S_{ij} = 0 : \\ & \quad \quad \quad A_{ij} = T_i \\ & \quad \quad \text{else } : \\ & \quad \quad \quad A_{ij} \sim \text{Multinomial}(\xi_j) \\ \end{align} $$

接着我们可以通过最大化观测数据的边际数据似然来学习参数 $\theta, \xi$，其中 $A$ 是标注矩阵，$S$ 是能力指示矩阵，$T$ 是真实标签矩阵：

$$ P(A; \theta, \xi) = \sum_{T, S} \big[ \prod_{i=1}^N P(T_i) \cdot \prod_{j=1}^M P(S_{ij}; \theta_j) \cdot P(A_{ij} \vert S_{ij}, T_i; \xi_j) \big] $$

可以采用 EM（期望最大化）或 VB（变分贝叶斯）来最大化上述边缘似然。在 EM 优化的 M 步中，先给频次加上一个固定值 $\delta$ 再做归一化。VB 训练中，对 $\theta_j$ 施加对称 Beta 先验，对 $\xi_j$ 施加对称 Dirichlet 先验。恢复正确答案时，可以根据各标注者的 $\theta$ 估计值进行加权多数投票。

标注者分歧与两种范式#

上述聚合过程建立在一个假设之上：存在唯一的标准答案，从而可以据此评估标注者的表现。然而在许多主题（尤其是安全、社会或文化领域）中，人们会产生分歧，而这种分歧往往是合理的，于是问题就变成了：我们到底要多严格地执行统一规则，还是要包容多样性。

Aroyo 与 Welty（2015）探讨了人工标注实践中的一些「迷思」，发现它们都不太准确，核心结论包括：

很多样本存在不止一种合理解读。我们需要多元视角，例如让多人来审核标注质量。
分歧并不总是坏事。由错误或流程设计不当造成的分歧应当消除，但其他分歧可以带来丰富信息。
- 如果分歧源于任务定义不清，应完善标注说明。但更详尽的指南并不能消解观点上天然存在的多样性。
专家未必总比普通人更强，但在判断「什么更重要」这类问题上，两者差距很大。
「标准答案」会随时间变化，尤其是涉及实时事件或新闻的内容。

后来，Rottger 等人（2021）将这一差异归纳为两种对立的范式，用于主观性 NLP 任务的数据标注。

	描述式	规定式
定义	鼓励标注者发挥主观性，尽量纳入多种信念。	抑制标注者的主观性，尽量统一执行同一套信念。
优点	- 有助于识别哪些条目更具主观性； - 拥抱多样性	- 更贴合标准的 NLP 设定。 - 更便于通过衡量分歧或聚合标签来做质量控制。
缺点	- 无法用评分者分歧等指标来衡量数据质量或标注者表现； - 无法用于训练那些以输出某种预设行为为优化目标的模型。	- 编写高质量标注指南既昂贵又困难，实践中永远做不到完美； - 培训标注者熟悉指南以正确执行也同样困难； - 既无法体现可解释的信念多样性，也无法稳定地编码某一特定信念。

描述性范式不仅能帮助我们理解多种重要效应，还能兼顾不同视角。例如，标注者的身份（如非裔美国人、LGBTQ）是一个统计上显著的因素，会影响他们将涉及身份认同的内容标注为有毒的程度（Goyal 等，2022）。话题主题也可以成为观点多样性的另一主要驱动因素。Wang 等（2023）研究了对 AI 对话系统安全性的人工评估过程，并比较了信任与安全（T&S）专家与众包标注者的标注结果。他们有意收集了众包标注者的人口统计学和行为信息等丰富元数据。对比 T&S 专家与众包标注者的结果后，他们发现一致率在不同语义主题以及不同严重程度之间存在差异：

不同主题之间的一致率差异很大，从暴力/血腥内容的 0.96 到私人话题的 0.25 不等。
在四个标签选项（"良性"、"可争议"、"中等"、"极端"）下，"极端"和"良性"对话的一致率更高。

非专家与专家标注之间的相关性在不同话题上差异很大。（图片来源：Wang et al. 2023）

Zhang et al. (2023) 提出了一套评分者分歧的分类体系来分析其根源。在列出的成因中，由随机误差或个人层面的不一致所导致的分歧应当尽量避免。如果同一评分者在多次标注同一任务时给出不同标签，那么其中一部分很可能是由人为失误造成的。基于这一直觉，分歧解卷积方法（Gordon et al. 2021）将稳定观点与误差分离开来，方法是将每个人的观点锚定到其主要标签上，从而强化评分者内部的一致性。

分歧解卷积依赖于概率图建模：

估计标注者返回非主要标签的频率 $p_\text{flip}$
对每个样本，根据 $p_\text{flip}$ 得到主要标签的调整后分布 $p^*$
从 $p^*$ 中采样作为新的测试集。
在新测试集上测量性能指标。

对于 $C$ 类别分类问题，生成模型的采样过程如下：

$$ \begin{aligned} y^*\mid x &\sim \text{Categorial}([C], p^*(y\mid x)) \\ y_\text{other}\mid y^* &\sim \text{Categorial}([C]\setminus\{y^*\}, \frac{1}{C-1}) \\ z_\text{flip} \mid x &\sim \text{Bernoulli}(p_\text{flip}(x)) \\ y\mid y^*, y_\text{other}, z_\text{flip} &= y^* (1 - z_\text{flip}) + y_\text{other} z_\text{flip} \end{aligned} $$

给定真实的 $p(y\mid x)$ 以及可以从数据中估计出的 $p_\text{flip}$，我们就可以更新主要标签的分布：

$$ p^*(y\mid x) = \frac{p(y\mid x) - \frac{p_\text{flip}(x)}{C-1}}{1 - \frac{C \cdot p_\text{flip}(x)}{C - 1}} $$

从 $p^*(y \mid x)$ 中采样的新测试集，移除了主流标签中个体的不一致噪声，可作为一个无噪声的测试集用于评估。

为了在学习预测标签时捕捉标注者之间的系统性分歧，Davani 等人（2021）实验了一种多标注者模型，将预测每位标注者的标签视为一个子任务。具体来说，分类任务定义在带标注的数据集 $D=(X, A, Y)$ 上，其中 $X$ 是文本样本集合，$A$ 是标注者集合，$Y$ 是标注矩阵，$y_{ij} \in Y$ 表示由 $a_j \in A$ 赋予样本 $x_i \in X$ 的二分类标签。$x_i$ 的多数投票标签记为 $\bar{y}_i$。实验中，他们在预训练 BERT 模型之上加一个分类头，并比较了 4 种方案：

Baseline（基线）：直接预测多数投票标签 $\bar{y}_i$，不使用完整的标注矩阵 $Y$。
Ensemble（集成）：为每位标注者单独训练一个模型来预测 $y_{ij}$，最终通过多数投票汇总结果。
Multi-label（多标签）：学习预测 $\vert A \vert$ 个标签，以表示每个样本对应的所有标注者标签 $\langle y_{i1}, \dots, y_{i\vert A \vert} \rangle$，共享一个 MLP 层，最后对输出进行汇总。
Multi-task（多任务）：与多标签类似，但每位标注者的预测头由独立的 MLP 层学习，从而分配额外算力来捕捉标注者之间的差异。

在 GHC（Gab Hate Corpus）数据集上的实验结果表明，多任务模型取得了最高的 F1 分数，并且能够自然地提供与标注分歧相关的预测不确定性估计。

Jury Learning（Gordon 等人，2022）借鉴了陪审团制度的思路，根据标注者的个人特征来建模其标注行为。从一个包含标签及每位标注者人口统计特征的数据集出发，我们训练一个模型，预测每个标注者（视为潜在陪审员）所做的标签。决策时，实践者可以指定陪审团的组成，从而确定采样策略。最终决策通过汇总多轮陪审员给出的标签得出。

Jury Learning 工作原理示意图。（图片来源：Gordon 等人，2022）

Jury Learning 模型采用 DCN（Deep & Cross network），常用于推荐场景，联合训练以学习评论嵌入、标注者嵌入以及群体（标注者特征）嵌入。文本内容由预训练的 BERT 处理，BERT 也参与联合微调，但训练轮次较少以避免过拟合。

Jury Learning 的 DCN 模型架构。（图片来源：Gordon 等人，2022）

他们在 toxicity diversity 数据集上进行了实验，并将 Jury Learning 与基线模型进行比较：基线模型是仅微调的 BERT，在不使用元数据的情况下预测单个标注者的标签。性能以 MAE（平均绝对误差）衡量。在完整测试集及各群体子集上，Jury Learning 均优于与标注者身份无关的基线模型。

与标注者无关的基线模型与 Jury Learning 的实验对比结果。（图片来源：Gordon 等人，2022）

数据质量 ↔ 模型训练#

数据集构建完成后，有许多方法可以根据训练动态来识别错误标签。这里我们只关注如何找出并排除可能标签错误的数据点，而不涉及如何用含噪数据训练模型。

影响函数#

影响函数（Influence Functions）是稳健统计中的经典技术（Hampel, 1974），它通过描述当某个训练点的权重被无穷小地增加时模型参数如何变化，来衡量该训练点对模型的影响。Koh & Liang (2017) 将这一概念引入到了深度神经网络中。

给定训练集中的 $n$ 个样本 $z_i = (x_i, y_i)$，$i =1, \dots, n$，模型参数 $\theta$ 通过最小化损失来优化：$\hat{\theta} = \arg\min_{\theta \in \Theta} \frac{1}{n}\sum_{i=1}^n \mathcal{L}(z_i, \theta)$。移除单个数据点 $z$ 后模型参数的变化记为 $\hat{\theta}_{-z} - \hat{\theta}$，其中 $\hat{\theta}_{-z} = \arg\min_{\theta \in \Theta} \frac{1}{n} \sum_{z_i \neq z} \mathcal{L}(z_i, \theta)$。然而对每个样本都精确计算这个值代价过高。一种近似方法是计算将 $z$ 的权重增加一个微小量 $\epsilon$ 时带来的参数变化。根据定义，将 $z$ 的权重增加 $\epsilon$ 所产生的影响为：

$$ \mathcal{I}_{\text{up,params}}(z) = \frac{d\hat{\theta}_{\epsilon,z}}{d\epsilon}\bigg\vert_{\epsilon=0}=-\mathbf{H}^{-1}_{\hat{\theta}} \nabla_\theta \mathcal{L}(z, \hat{\theta}) $$

其中 $\hat{\theta}_{\epsilon,z} = \arg\min_{\theta \in \Theta} \frac{1}{n}\sum_{i=1}^n \mathcal{L}(z_i, \theta) + \epsilon L(z, \theta)$，$\mathbf{H}^{-1}_{\hat{\theta}} = \frac{1}{n}\sum_{i=1}^n \nabla^2_\theta \mathcal{L}(z_i, \hat{\theta})$。移除一个数据点 $x$ 等价于将其权重增加 $\epsilon = -\frac{1}{n}$，因此 $\hat{\theta}_{-z} - \hat{\theta} \approx -\frac{1}{n} \mathcal{I}_{\text{up,params}}(z)$。

将 $z$ 的权重增加对某个测试点 $z_\text{test}$ 损失的影响，可以通过链式法则得到：

$$ \begin{aligned} \mathcal{I}_{\text{up,loss}}(z, z_\text{test}) &= \frac{d \mathcal{L}(z_\text{test}, \hat{\theta}_{\epsilon,z})}{d\epsilon}\bigg\vert_{\epsilon=0} \\ &= \nabla_\theta \mathcal{L}(z_\text{test}, \hat{\theta})^\top \frac{d \hat{\theta}_{\epsilon,z}}{d\epsilon}\bigg\vert_{\epsilon=0} \\ &= - \nabla_\theta \mathcal{L}(z_\text{test}, \hat{\theta})^\top \mathbf{H}^{-1}_{\hat{\theta}} \nabla_\theta \mathcal{L}(z, \hat{\theta}) \end{aligned} $$

借助影响函数，我们可以用闭式公式衡量单个数据点对模型参数和损失函数的影响，从而在不实际跑留一法重训练的情况下近似其结果。要识别错误标注的数据，可以计算 $\mathcal{I}_\text{up,loss}(z_i, z_i)$，它近似表示从训练集中移除 $z_i$ 后模型在 $z_i$ 上的预测误差。

在 10 类 MNIST 上，影响函数的数值与留一法重训练的结果一致。（图片来源：Kohn & Liang, 2017）

虽然有了闭式公式，影响函数仍然难以扩展，因为逆 Hessian 向量积的计算代价很高。Grosse et al. (2023) 尝试用 EK-FAC（Eigenvalue-corrected Kronecker-Factored Approximate Curvature；George et al. 2018）近似来替代。

训练过程中的预测变化#

另一类方法的出发点是追踪训练过程中模型预测的变化，从而找出那些似乎难以学对的样本。Data Maps（Swayamdipta et al. 2020）追踪模型在训练动态中的两个属性，以此分析数据集的质量：

置信度（Confidence）：模型对真实标签的置信度，定义为各 epoch 中模型赋予真实标签概率的均值。作者还使用了一个粗粒度指标“正确率（correctness）”，即模型在训练过程中预测正确标签的频率。
变异性（Variability）：置信度的波动，定义为各 epoch 中模型对真实标签概率的标准差。

基于 RoBERTa 分类器绘制的 SNLI 训练集数据分布图。（图片来源：Swayamdipta et al. 2020）

难学习的样本（低置信度、低变异性）更可能被错误标注。他们在 WinoGrande 数据集上进行了一项实验，人为翻转 1% 的标签。重新训练后，被翻转的样本迁移到了低置信度、变异性略高的区域，说明难学习区域确实包含错误标注的样本。基于此，我们可以只用置信度作为特征，在等量的翻转标签样本和干净样本上训练一个分类器（不清楚论文为什么没用置信度和变异性两个特征）。这个简单的噪声分类器随后可以用于在原始数据集上识别潜在的错误标注样本。

原本具有高置信度、低变异性得分的数据点，在标签被翻转后迁移到了低置信度、变异性略高的区域。（图片来源：Swayamdipta et al. 2020）

不过，我们不能认为所有难学习的样本都是错误的。事实上，论文假设那些歧义的（高变异性）和难学习的（低置信度、低变异性）样本对学习更有价值。实验表明，这类样本有助于提升 OOD 泛化能力，在 OOD 评测上甚至优于使用全部训练集的结果。

为了探究神经网络是否倾向于遗忘先前学到的信息，Toneva et al. (2019) 设计了一项实验：他们在训练过程中跟踪模型对每个样本的预测，并统计每个样本在「被正确分类」和「被错误分类」之间的转换次数。据此将样本分为两类，

可遗忘（冗余）样本：如果类别标签在训练 epoch 之间发生变化。
不可遗忘样本：如果类别标签在训练 epoch 之间保持一致，这些样本一旦学会就不会再被遗忘。

他们发现，样本中有一大类「难忘样本」，一旦学会就再也不会忘记。带噪声标签的样本，以及具有「不常见」特征（在视觉上难以分类）的图像，是最容易被遗忘的样本。实验经验性地验证了：安全地移除难忘样本不会损害模型性能。

具体实现中，遗忘事件的统计前提是该样本出现在当前训练批次中——也就是说，他们是在同一个样本的后续小批量训练中追踪其遗忘次数。每个样本的遗忘事件次数在不同随机种子下都相当稳定，而且易忘样本倾向于在训练较晚阶段才首次被学会。遗忘事件在整个训练过程中以及在不同网络架构之间也表现出可迁移性。

Pleiss 等人（2020）提出了一种名为 AUM（Area under the Margin，边缘下面积） 的方法来定位错误标签，基于这样一个假设：假设一张 BIRD 图片被错误地标注为 DOG。梯度更新一方面会促使其他 BIRD 图片的特征泛化到这张 BIRD 图片上，另一方面 DOG 标签又给出一个错误的监督信号，让更新朝相反方向走。因此，在梯度更新信号中，泛化方向与（错误的）预测方向之间存在一种张力。

给定一个分类数据集 $(\mathbf{x}, y) \in \mathcal{D}_\text{train}$，令 $z^{(t)}_i(\mathbf{x}) \in \mathbb{R}$ 表示第 $t$ 个 epoch 中类别 $i$ 对应的 logit。则第 $t$ 个 epoch 的边缘定义为该样本被分配的 logit 与次大 logit 之差：

$$ M^{(t)}(\mathbf{x}, y) = z_y^{(t)}(\mathbf{x}) - \max_{i \neq y} z^{(t)}_i(\mathbf{x}),\quad \text{AUM}(\mathbf{x}, y) = \frac{1}{T} \sum^T_{t=1} M^{(t)}(\mathbf{x}, y) $$

负的边缘值意味着预测错误，较大的正值则说明对正确预测有很高的置信度。其假设是：由于其他样本通过 SGD 触发的泛化张力，错误标注样本的边缘会小于正确标注样本的边缘。

为了确定阈值，他们插入了一类伪造数据，称之为「阈值样本」，以此来划定门槛：

构建阈值样本子集 $\mathcal{D}_\text{thr}$。若 $C$ 个类别共有 $N$ 个训练样本，则随机抽取 $N/(C+1)$ 个样本，并将其标签全部改为一个伪造的新类别 $C+1$。
将阈值样本合并回原始数据集：$\mathcal{D}’ = { (\mathbf{x}, C+1): \mathbf{x} \in \mathcal{D}_\text{thr}} \cup (\mathcal{D} \setminus\mathcal{D}_\text{thr})$；
在 $\mathcal{D}’$ 上训练模型，并测量所有数据的 AUM；
以阈值样本 AUM 的第 99 百分位数作为阈值 $\alpha$；
利用阈值 $\alpha$ 识别错误标注的数据：${(\mathbf{x}, y) \in \mathcal{D} \setminus\mathcal{D}_\text{thr}: \text{AUM}_{\mathbf{x}, y} \leq \alpha}$

阈值样本的 AUM 如何帮助分离出错误标注的样本。（图片来源：Pleiss et al. 2020）

在含有随机错误标注的 CIFAR 10/100 上，对比不同数据过滤或噪声训练方法的测试错误率。（图片来源：Pleiss et al. 2020）

噪声交叉验证#

NCV（Noisy Cross-Validation，噪声交叉验证）方法（Chen et al. 2019）首先将数据集随机等分为两份，然后仅用其中一半训练模型；若某样本的真实标签与模型对另一半数据预测得到的标签一致，则将其标记为「干净」样本。干净样本被认为更值得信赖。INCV（Iterative Noisy Cross-Validation，迭代式噪声交叉验证）则迭代运行 NCV，逐步将更多干净样本加入可信候选集 $\mathcal{C}$，同时移除更多噪声样本。

引用#

引用格式：

Weng, Lilian. (Feb 2024). “Thinking about High-Quality Human Data”. Lil’Log. https://lilianweng.github.io/posts/2024-02-05-human-data-quality/.

或：

@article{weng2024humandata,
  title   = "Thinking about High-Quality Human Data",
  author  = "Weng, Lilian",
  journal = "lilianweng.github.io",
  year    = "2024",
  month   = "Feb",
  url     = "https://lilianweng.github.io/posts/2024-02-05-human-data-quality/"
}