AI 领域最易被误解的图表迎来重要更新
AI 评测非营利机构 METR 的一份最新报告发现,某些 AI 能力仍在沿指数曲线持续提升——但报告也表明,模型在需要判断力的任务上的表现,远不如在编程任务上。
这份报告是对 METR「时间跨度」图表的更新。此前那张图被广泛传播,也被广泛误解,原因在于它使用的度量方式相当复杂。METR 的评测方法是让模型尝试大量任务,而这些任务此前都由人类完成过。每个任务的难度按人类测试者完成它所需的时间来打分,然后根据模型能完成的任务时长来评估模型。那张图显示 AI 系统在快速进步:每过四个月,前沿模型能成功完成的任务时长就翻一倍。
更新后的图表增加了更多任务——有些预计比原始任务集耗时更久,有些则更加开放。当前 AI 领域最大的问题之一是:在「可验证」任务上取得的进展(即能自动判断 AI 成败的任务),能在多大程度上迁移到成败难以衡量的任务上。我们知道如何训练神经网络做可验证任务:让系统反复尝试某个任务,强化促成成功的神经通路,弱化导致失败的通路。这正是 AI 系统在编程和数学上如此出色的原因——在这两个领域,可以自动判定一个解法是否有效。
这种技术被称为 reinforcement learning,但要把它用在成功标准模糊或成败难以判定的任务上就难得多——比如选择一个新的研究方向。出于同样的原因,这类任务的 AI 表现也很难评估,所以 METR 原版的图表完全没有收录。但如果 AI 系统要实现研发自动化,恰恰是这类任务最为关键。
眼下,AI 的研发工作无疑是热门话题。本月早些时候,另一份被大幅删减的 METR 报告仍让 AI 圈内的许多人惊魂未定。该报告声称,在 Anthropic,AI 可能以两倍的速度加速 AI 进展。这份报告引发了人们的担忧,担心这家刚完成巨额 IPO 的公司很快就能实现完全的递归自我改进——即 AI 系统在无需人类参与的情况下,自主设计自己的下一代系统。
METR 的研究人员努力确保其新的任务套件涵盖了一些更模糊、更依赖判断的任务,这些任务对 AI 研发可能最为相关。在一项任务中,他们要求模型设计新的 AI 评估方法,供 METR 在研究中使用,然后由 METR 的人类员工对结果进行评分。尽管最先进的模型目前在软件工程领域已胜过几乎所有人,但在此处它们却相形见绌:没有一个由 AI 设计的评估达到让 METR 员工认为其能用于研究的程度。
在另一项任务中,模型需要对哲学论证进行评分。这项任务旨在衡量模型行使良好判断力的程度——尽管 METR 在报告中写道,员工们对于该任务在 AI 研发自动化中的相关性存在分歧。同样,模型在这项任务上的表现也落后于人类。
虽然给这些新任务打分很困难——确定分数意味着什么则更难——但我咨询的专家都表示赞赏 METR 将新类型的评估纳入其工作中。“我们现在正处于 AI 评估需要更有创造力的阶段,”UC Berkeley 的计算机科学家、即将上任的教授 Sayash Kapoor 说。“试图突破评估空间的边界,是一个令人欢迎的变化。”
Kapoor 表示,他并不惊讶于模型在更开放式任务(如设计 AI 评估)上表现不佳——在一份8 月的预印本中,他和他的合作者报告称,AI 模型尚不能独立复现人类的计算机科学研究成果。此外,OpenAI 在一篇周三的博客文章中也指出,其模型在员工分配给它们的现实世界任务上的表现,不如它们在 METR 原始套件中那些更简单、更可验证的任务上的表现。
Kapoor 表示,对于如何解读当前模型在易验证任务和难验证任务上的性能差异,人们仍然各执一词。尽管他认为研究品味——即挑选有前景的问题、假设和实验的能力——将成为自动化 AI 研发的关键瓶颈,但也有其他人主张,在易验证任务上训练出的模型,最终也能胜任开放式任务。而在可验证任务上,进展似乎并没有放缓。 即使模型目前在开放式任务上仍落后于人类,这份新报告也表明它们可能正在进步。一些最新的模型,比如 Opus 5.5,在评估设计任务上往往能达到 METR 所说的“略高于及格线”的水平——虽然还不足以用于 METR 的研究,但已经很有希望。就在一年前,所有模型还都处于“明显低于及格线”的类别。 不过,由于这类开放性、高度依赖判断的任务设计和评分都很难,METR 在报告中只纳入了少量此类任务,因此很难预测模型在这些方面是否以及如何继续进步。“我认为,我们观察到的改进至少能说明当前的情况,”波士顿大学的语言学家兼计算机科学家 Najoung Kim 说,“但至于这种趋势能否外推,我还不确定该怎么看。” METR 技术团队成员 Matt Putz 表示,预测这类任务的进展很可能依然困难。“难验证或需要大量判断的任务,本质上就更难研究,尤其是更难量化,”他在一封邮件中写道,“归根结底,我不认为我们能像易定义任务那样,建立清晰稳健的趋势。” 总体来看,METR 显然正遭遇在困难且定义模糊的任务上测试 AI 性能的实际难题——而这恰恰是与自动化 AI 研发最相关的任务。METR 的时间跨度图是通过评估人类完成某项任务所需的时间来衡量任务难度的,在最初那张图里,他们是通过让真人实际尝试每项任务来测量这个时间的。不过,在新报告中,大多数完成时间其实都是估算值——为那些可能需要数百小时、或只有极少数专家才有能力完成的任务支付报酬,成本高昂且耗时。其他任务也存在更具体的缺陷:例如,在哲学论证任务中,绝大多数论证仅由一人评分,而 AI 智能体的表现则取决于它们与这位特定个体的判断有多一致。如果调查更多专家,评分结果很可能会变化——但这同样耗时。
对于难以验证或依赖主观判断的任务,目前评估模型的方法仍处于起步阶段。尽管我咨询过的专家认为,METR 最新的时限分布图纳入这些任务是一个明确且正确的方向,但他们也一致认为,距离得出关于自动化 AI 研发是否临近、以及它将多快到来等任何确定性答案,我们仍有很长的路要走。“向开放性任务的这一转变令人鼓舞,”Kapoor 说。但他补充道,“要真正获得更全面的理解,我们还有大量工作要做。”