为什么机器学习研究 Agent 不会过拟合？
机器学习的核心在于泛化，而非死记硬背不过，“留出”这个条件至关重要。只有留出集始终保持“从未见过”的状态，其作为正确代理指标的保证才成立。如果你反复查看它上的性能表现，并据此调整训练流程、再验证、再迭代，为了追求更高的分数不断折腾，那么这个集合就不再是“未见”的了；它已经成了训练流程的一部分。这么折腾下去，你完全可能对这个留出集合产生过拟合——就像当初对训练集过拟合那样——最终失去一个衡量未见数据的可靠基准。这种情况适用于任何被如此反复使用的留出集，包括验证集，因为它的设计初衷就是要被反复使用。
机器学习领域的一个核心谜题
真实的机器学习研究，看起来正如我们刚才描述的那个迭代改进循环。所有人都用几个多年未更新的基准数据集来衡量性能。整个研究社区其实在重复一个庞大的分布式循环：在基准上评估模型，修改训练流程，重新评估，发表论文，然后让下一个团队再抠出一点点改进空间。
这正是教科书上所说的、针对留出集进行爬山式优化的典型做法，按理说应该导致严重的过拟合。照此推论，各大排行榜上早就应该挤满了那些在基准测试上表现出色、在其他场景下却表现平平的模型。
但事实并非如此。有研究专门为那些被反复使用的老基准构建了全新的测试集，结果发现模型性能的提升大部分是可以迁移的：在新数据上，模型展现出与旧基准上同样的进步。与教科书预测相反，由基准驱动的机器学习研究取得了快速且大体真实的进展。这是为什么？
相关的假说不少，但都难以通过实验验证——因为这个实验的“研究对象”是整个人类研究共同体。你不可能把一个领域重置、清空它的记忆，然后在可控条件下把过去十年重新跑一遍。
不过，我们可以做一件类似的事。如今已有基于 LLM 的研究 agent，能够自主运行与人类研究社区相同的机器学习优化循环。它们同样在做基准爬山——而且有意思的是，它们似乎也不过拟合。区别在于，agent 不像研究社区那样难以重置：你可以清空它的记忆，精确控制它能看到的信息，然后重新做实验。在近期论文 "What fits (into few tokens) doesn't overfit: Compression and generalization in ML research agents" 中，我们正是这样做的，并在此过程中为这个长期悬而未决的谜题提供了一个具体的解释。
奥卡姆剃刀的精确化
这个解释要从一个非常古老的想法说起。奥卡姆剃刀说：在同样能解释数据的假设中，越简单的越可能是正确的。这个直觉其实有一个精确的数学形式，而这正是整个故事的理论基础。
假设你能用很少的比特数描述你的假设——你的模型或策略——远少于记住训练数据所需的比特数。那么，如果这个简洁的假设在训练数据上表现很好，它在未见过的数据上也大概率会表现很好。
奥卡姆剃刀的严格表述：在所有对数据解释效果相当的假设中，更简单的那个——即用更少的比特就能描述的——更有可能泛化到新的样例上。其背后的推理依靠一个计数论证：简短的描述本身就不多，因为简短的字符串本来就很少。候选假设的数量越少，任何一个假设仅仅是靠运气蒙骗过训练集的可能性就越小——即便你正是利用训练集来引导搜索过程的。
获得直观理解的另一种方式是：如果你的压缩描述小到无法偷偷藏住训练数据，那么当它在训练集上表现良好时，原因就不可能是它背下了答案——它根本没有空间去做这件事。它表现良好，必然是因为它捕捉到了数据结构中某种真实的规律。简短的描述无法作弊，因为它们没有作弊的空间。
这里有一个颇具吸引力的假设：成功的机器学习策略具有高度的可压缩性。研究者在一个项目中可能盯着成千上万个基准测试分数看，但最终幸存下来的策略通常只是一份简短的熟悉选项清单——一个架构族、一个优化器、一个学习率调度、一套数据处理配方、一种正则化方案。如果这份最终配方只需几个比特就能传达，那么模型对基准测试的真实依赖程度，远小于漫长而曲折的实验记录所暗示的样子。爬坡的过程很广泛，但从另一端出来的东西却是——或者本可以——极小。
压缩、智能与知情听众的力量
想象一下，你要向一个聪明的高中生解释一条具体的机器学习流水线，要详细到对方能真正复现它。那将是一场漫长而费力的对话。你得解释什么是梯度下降、什么是神经网络、PyTorch、JAX 或 TensorFlow 是做什么的、什么是学习率，等等。其中几乎没有什么与你的具体问题相关；它们不过是关于机器学习如何运作的通用背景知识。
现在想象一下，向一位资深机器学习工程师解释同样的流程。对话瞬间简化为寥寥数语。你会跳过所有视为常识的部分，只传达与当前问题真正相关的信息：架构选择、批量大小、优化器、几个超参数。听众对世界背景知识越丰富，你需要发送的消息就越短，压缩力度也可以越大。这些“世界知识”在奥卡姆剃刀原则的论证中并不被计入代价，因为你完全可以不用查看训练集就写下所有内容。
这就是大语言模型发挥作用的地方。现代 LLM 携带着海量的世界知识。它们了解机器学习工具链的运作方式，熟悉标准的优化算法，也清楚常规的超参数选择和常见的默认值。如果某些细节未明确说明，它们能填入合理的数值。这使得它们成为极其出色的压缩解码器：给 LLM 一条简练的专家级信息，它就能将其展开为完整的可操作程序。仔细想想，这正是它们如此强大的原因。
实验：通过瓶颈挤压策略
这提示了一个简洁的实验。让一个机器学习研究智能体（探索者）尝试解决一个新的机器学习问题。赋予它对验证集的完整访问权限，允许它自由实验和迭代，在数百轮中追求更好的验证集性能。在这里，验证集扮演基准测试的角色：一个可重复使用的保留集，智能体反复查询它。这就是本应导致过拟合的爬山循环。
然后测试解决方案的可压缩性。第二个智能体（压缩者）阅读探索者工作的完整记录，并试图将获胜策略提炼为一个极短的提示词——只需几个 token。这个提示词交给第三个智能体（复现者），它必须仅凭该提示词和训练数据从零开始实现该策略。关键在于，复现者无法访问验证集、探索者的代码或其记录。短提示词是从验证集中获取的任何信息到达复现者的唯一通道。（在我们论文报告的实验中，压缩者和复现者均为 Claude 模型。）
如果复现者——从零开始，手里只有几个 token——就能达到探索者的性能，那么指定该策略所需的所有依赖验证集的信息都成功挤过了那条窄通道。这个策略是可压缩的。我们把这称为“输出压缩证书”。
这个设置有一个人类科研社区不具备的有用特性：复现者可以反复重置。压缩者可以尝试各种压缩方案，并检验每种方案的解码效果，因为每次尝试面对的都是一个全新的、对上一次毫无记忆的复现者。这有点像电影《记忆碎片》——你在给一个即将被抹去记忆的自己留一张简短的纸条。你学会了写给“有学识但失忆的自己”的便条；这些便条可以非常简短，因为对方会把你没写出来的部分，完全按你自己会补的方式补全。
压缩出来的结果
压缩结果小得出人意料。在八个数据集上——涵盖表格分类、图像分类、语言建模、扩散建模和奖励建模——32 个 token 的提示词就足以让全新的复现者在绝大多数问题上追平探索者自适应优化出的模型。有一个语言建模策略甚至压缩到只剩 16 个 token，在留出集上的性能毫无损失。
这些提示词长什么样？最能说明问题的是那些刚好卡在简洁极限、压缩几乎要失效的例子。在一个语言建模实验中，探索者发现了一套定制的 GPT 风格训练方案。在 16 个 token 的预算内，这段提示词仍足以让全新的复现者追平未压缩的探索者：
QKn 12L768 Mu .1 R² b2M 4x
人类读者看着一头雾水，但对另一个 ML agent 来说，它传达了具体信息：QKn 指“QK normalization”，12L768 指 12 层、768 维的 transformer，Mu .1 指学习率为 0.1 的 Muon 优化器，R² 指平方 ReLU 激活函数，b2M 指两百万 token 的 batch，4x 指四倍前馈层。但如果把预算砍到 8 个 token，提示词就变成：
12L768 Mu .1 R²
此时复现者不再能匹配探索者。缺失的部分指定了实际训练过程中做出的选择，这些选择依赖于数据并与最直观的默认设置不同。这条边界揭示了可压缩性的极限，意义重大。它表明，复现者并非仅凭先验知识就取得了成功。少数压缩后的 token 承载了从数据本身学习到的真实信息；当这些 token 消失时，性能也随之消失。
我们还进行了一组实验，从相反方向施加信息瓶颈。我们没有压缩探索者的输出，而是压缩其输入：不再告知探索者每个模型的数值验证分数，仅返回 1 bit 信息——该模型是否击败了当前最佳成绩？即便反馈减少到每次查询仅 1 bit，探索者找到的策略仍与使用完整数值分数时一样好。验证集与最终策略之间的通道在两个方向上都极其狭窄，且 1 bit 版本甚至具备严格的泛化数学保证。
在八个数据集上，从数百轮迭代实验中得出的策略可以被压缩为仅 16 到 32 个 token 的提示词——短到足以让一个无记忆的全新代理复现原始结果。捕捉作弊者
一个良好的经验理论应该是可证伪的——这个理论就是。如果低过拟合确实由可压缩性解释，那么真正发生严重过拟合的模型应该无法通过此流水线进行压缩。
为了验证这一点，我们故意让代理陷入过拟合：直接开放验证集的访问权限，并提示它们在不惜任何代价的前提下最大化验证性能。代理们上了当：在 102 次实验运行中，有 38 次的验证准确率比真实留出集的准确率高出 10% 以上。
理论预测，这些收益不应能穿越压缩瓶颈，因为它们编码的是特定验证样本的怪癖，而非可迁移的结构。果然，当这些收益被挤压进简短提示词并交给新的复现者时，与验证集相关的优势消失了。压缩以极高的准确率区分了合法策略和过拟合策略。
因此，压缩不仅解释了自主研究代理为何不容易过拟合，还能作为一种检测手段：当过拟合确实发生时，通过标记那些无法用简短描述复现结果的案例，将其揪出来。
这说明什么，又没说明什么
需要指出几点前提。整个框架假设从验证数据到最终模型的唯一路径，是流经我们提供给复现者（reproducer）的提示词。当然，如果模型在预训练阶段已经记住了验证数据，那就存在一条绕过我们要施加的信息瓶颈的侧信道。我们认为实验中的情况并非如此：代理是通过真实的搜索过程逐步改进的，而不是一开始就处于最佳状态；而且当 token 预算极短时，性能会出现退化。但要彻底回答这个问题，可能需要在模型训练截止日期之后收集的新数据集上进行实验，我们尚未做到这一点。
最重要的是，我们的结果针对的是 LLM 代理，因为实验只有在 LLM 上才可行——你可以重置对象、控制其输入，并计算输入长度。但这些结果所勾勒出的图景，对人类研究社区也具有强烈暗示性。当一个领域花数年时间在固定基准上艰难爬升，而收益却不断迁移到新数据上，原因可能与代理策略在 32-token 提示下依然存活的原因相同：真正有效的配方其实很简单。换句话说是：“装得进（很少 token）的东西，不会过拟合。”
致谢：Steven Wu