← 文章 / AI技术
Eugene Yan 1天前 · 2026-11-21 16:26:19 · 4 阅读

公开评测的运作方式、失效原因与改进方向

公开评测的运作方式、失效原因,以及该如何改进

阅读时长 42 分钟 llm eval teardown

目录

目录

模型迭代越来越快,评测分数往往是我们了解一个新模型的第一手信息。但这些分数究竟有多可信?在本文研究的十二个公开评测中,有八个存在评分系统误判本应通过的作品的证据。而且即使评分无误,许多 benchmark 测的也只是容易衡量的东西,而非真正重要的东西——它们更应该关注可靠性、工作效率、多轮协作等维度。

本文将阐述常见的设计模式与原则、模型常犯的错误,以及当前基准测试的不足之处。同时,我将分享我们目前的做法中存在的问题及未来应做出的改变,包括为何平均通过率不足以衡量表现,以及为何用美元来计量成本并不恰当。最后,我们将逐一解析十二个评估任务:其中四个涉及编程与科学,六个聚焦于知识型工作,另外两个则涉及浏览和计算机操作。读完本文后,你将清楚基准测试中哪些内容值得信任,哪些则需要审慎对待。

模式:评估任务是如何构建与维护的 #

大多数评估任务共享四个核心组件:

  • 指令: 一段看似真实用户请求的提示词。Agent 仅在任务开始时接收一次该指令,通常无法提出澄清性问题。
  • 环境: Agent 运行的工作区,通常预置了所需的文件、软件和服务。对于编程任务,这通常是一个处于特定 git commit 的容器化代码仓库;对于知识型工作,则可能是一台安装了特定软件的虚拟机、模拟业务应用或包含若干文档的文件夹。
  • 评判器: 决定任务是否通过。可以是确定性代码(针对最终输出或环境状态进行测试和断言),也可以是基于评分标准的 LLM 裁判,或者是两者的结合。
  • 参考答案(可选): 由人类专家提供的解决方案。评估任务包含此部分以证明任务可解、为两两比较提供基准,或确立人类性能基线。

评估任务的四个基本组件

此外,评估基准测试正越来越多地像软件一样进行维护。它们发行带版本号的发布版,并通过 Issue 和 Pull Request 接受修复。例如,Agents’ Last Exam v1.1 废弃了 30 个任务并修订了 57 个;Harvey LAB 的公开数据集自 2026 年 5 月发布以来,任务数量已从约 1,250 个增长至 2,010 个。与软件类似,这些版本更新也可能引入破坏性变更——Terminal Bench 可能会在每次版本更新中移除已饱和的任务,导致不同版本之间的分数难以直接对比。

原则:塑造评判与任务选择的准则 #

在研究的各个基准测试中,反复出现以下四项设计原则:

用确定性检查替代 LLM judge。基于代码的检查结果可复现,judge 模型升级也不会导致排名波动。DeepSWE 和 AutomationBench 完全不使用 LLM judge,Agents’ Last Exam 也极力减少其使用。当评测确实需要 judge 时(比如法律备忘录或临床回复),会把 judge 的职责限定为二元的“是/否”式评分项,而非给出整体分数。

评分看结果,不看过程。其意图是:只要能产出正确结果,任何方法都应该通过。例如 Terminal Bench 只检查容器的最终状态,不管 agent 中间执行了什么命令或输出了什么。AutomationBench、OSWorld 2.0 和 DeepSWE 也是同样的做法。

常用全通过计分,因为半成品往往没法用。在全通过计分下,任务必须通过所有测试或标准才算通过。DeepSWE、Terminal Bench、Terminal Bench Science、AutomationBench 和 Harvey LAB 都采用这种方式。正如 Harvey 所说:“抓住了大部分问题,不等于完成任务”——一份标出十项风险中八项的报告是不完整的,而不是 80% 有用。不过全通过计分也有脆弱的一面:一条有缺陷的断言或标准就可能让本来正确的解法被判为失败。

一种替代方案是部分计分:每项测试或标准带有权重,任务得分在 0.0 到 1.0 之间。FrontierSWE 和 HealthBench Professional 采用部分计分,而 Agents’ Last Exam、Finance Agent 和 OSWorld 2.0 则两种分数都报告。

挖掘更难的任务来延缓饱和。AutomationBench 用无关数据和冲突的政策来增加简单任务的难度;HealthBench Professional 把高难度任务的比例提高到基础集的约 3.5 倍;BrowseComp 只保留当时最强模型都解不出的题目;Terminal Bench 则在任务饱和后将其退役。

失败模式:跳过验证、遗漏需求 #

纵观各项错误分析,有两种失败模式反复出现:

跳过验证或提前收工。在 OSWorld 2.0 上,agent 提交结果前不检查最终状态;在 Harvey LAB 上,未经审查就提交草稿的 agent 得分更低;在 AutomationBench 上,模型只处理了列表的一部分,却像完成了一样做总结,并错误地宣布任务成功。

未满足明确规定的要求。指令遵循是 GDPval 中最为常见的失败模式,而 OSWorld 2.0 上的智能体也频繁忽略提示词中明确列出的约束条件。其中许多失误本可由基础的验证流程轻易拦截,属于典型的非技术性疏忽。

缺口:判对判错失真 #

并非所有失败都归咎于模型本身。许多评测集存在两类反复出现的评分器缺陷。

假阴性(误判正确输出)。这是最普遍的问题,通常源于评分标准严苛于提示词要求,或强行施加了未被明确提及的约束。评审发现,Terminal Bench 4.0 的 65 项任务中有 41 项 基于未被明确陈述的要求进行评分;另有 113 项 DeepSWE 任务中有 23 项 将正确解法误判为失败。在 OSWorld 2.0 上,外部评审 提交的问题报告指出,108 项任务中有 23 项存在检查逻辑失效、错误拒绝正确结果的情况,例如 评分器所使用的软件甚至无法打开任务自带的初始文件。这种缺陷在全通过(All-Pass)评分机制下会被放大:单项有缺陷的检查足以导致整个任务判定为失败。

假阴性也可能源于错误或有歧义的答案基准,即参考解答或评判标准本身有误或不唯一。在 BrowseComp 评测中,解决该题目的人工训练师在 367 道题中的 50 道(占比 14%)上 与参考答案不一致。后续研究 证实,在抽样自 BrowseComp-Plus(复用 BrowseComp 题目)的 200 道题中,有 10 道存在错误。Harvey LAB 从留存测试集中 移除了 17 条(无法求解的)评判标准;此外,有贡献者 报告 称,在提供的任何源文件中均找不到要求估算的赔偿金额。

假阳性(错误的结果也能通过)。断言和评分项通常只检查预期要点是否存在,而不检查其余部分是否正确。在 Harvey LAB 上,Artificial Analysis 用 LLM 评委对照源文件核验交付物,发现超过 60% 通过全部标准的结果存在实质性幻觉。在 AutomationBench 上,55% 的断言只检查消息或记录是否包含或排除某个字符串,这就给了 agent 钻空子的空间——只要命中关键词,其他部分全错也能通过。比如某个任务要求写一封包含"就绪"和"未就绪"审计项数量的邮件,验证却只检查邮件里是否含有"3"和"4"——把两个数字对调也能通过。

热门观点:我们对 evals 的理解哪里出了偏差 #

展望未来,我认为我们对 evals 的认识存在一些偏差,下面说说应该怎么改。其中一部分基于前面研究的基准,另一部分则纯属直觉。

除了平均通过率,我们还应衡量可靠性($\text{pass}^k$)。大多数 evals 只报告平均通过率,但这掩盖了生产环境中的巨大差异。假设两个 agent 都得 70% 分:第一个每次都能稳定解出 70% 的任务,第二个每个任务只有 70% 的概率解出。前者在我们能确认它可靠的那 70% 任务上可以放心使用,后者的每次输出都得人工检查。$\text{pass}^k$(因 $\tau$-bench 而流行)正是用来区分这两者的:只有 agent 在全部 $k$ 次尝试中都通过,任务才算完成。做五次尝试后,第一个仍是 70%,第二个则跌到 17%。

可靠性才是生产工作流真正看重的东西——agent 必须稳定地完成任务,而不是依赖人工复核。我宁愿花 2 倍价钱买一个每次都能完成的模型,也不想花 1 倍价钱买一个只有 80% 完成率、剩下 20% 还得我来排查的模型。上面的错误分析表明,差距恰恰出在可靠性上。在 OSWorld 2.0 上,agent 很少在基础的 GUI 操作或编码上失败——失败的原因往往是跳过验证环节、遗漏需求。

单任务成本具有误导性;稀缺资源不是 Token 成本,而是人类注意力。 评测通常对执行过的所有任务(无论成败)取平均成本,而模型可能通过跳过验证或提前放弃来降低失败成本。在 Agents’ Last Exam 中,17% 的失败案例属于过早放弃,即智能体提前停止或未产出所需成果。在 FrontierSWE 上,某模型在 20 小时预算的 170 次试验中,有 169 次在提交后 8 小时内就停止了。在排行榜上看似成本效益高的失败或放弃行为,在真实工作中往往意味着停滞。

不应将低美元成本误认为高效。如果工程师需要花费数天审查输出、排查静默失败并完成最后一步,那么节省 Token 成本可能只在 Token 层面精明,在时间上却愚蠢。在 AutomationBench 中,模型在 72% 到 91% 的分析失败中宣称成功。当我们无法判断哪些任务失败时,就必须审查所有任务。GDPval 的分析体现了这种权衡:GPT-4o 的单任务成本约为 GPT-5 的十分之一,但一旦计入专家审查和重做不合格工作所花的时间,GPT-4o 比专家独立工作还慢,而 GPT-5 则更快。

通过让任务可验证,我们测试实现多于判断,从而失去了一些东西。 确定性断言和二元评分标准比模糊的 Likert 量表更可靠,我很庆幸基准测试倾向于使用前者。然而,这些检查是由决定“何为良好”的任务作者定义的。并且,为了使检查公平,提示必须说明测试内容——DeepSWE 为此审查每个任务(提示-验证器双射),因为测试未说明要求会导致假阴性。因此,某些基准测试更多衡量指令遵循和构建方式(实现),而较少衡量构建或不构建什么(判断)。

有些评测更进一步,把开放式任务改造成可以核验的目标。比如 Agents’ Last Exam 让模型复现一个已有的游戏,而不是从头设计一个新的,这样输出就能和参照物直接对比。FrontierSWE 则给 agent 提供一个自查工具,用于追踪评分器的分数,省去了模型自己决定该衡量什么的麻烦。这种设计回避了 agent 需要界定模糊问题、判断轻重缓急、运用判断力这些环节——而这些往往正是真实工作中最难的部分。

评测指令大多是一次性的,但真实工作是多轮的。用户很少一次性把所有需求写清楚,通常是先有个大致想法,然后讨论、审阅草稿、补充约束,在多轮交互中不断纠偏。一次性基准无法测试模型面对模糊需求时会不会提出澄清问题,也测不出它们如何应对不断变化的需求——比如化解冲突、记住早先的指令,以及从整体上重新思考设计,而不是把后期的改动简单拼上去。

这个差距可能很大。Laban et al. 发现,模型在模拟多轮对话中的得分平均比单轮低 39%。但测试多轮交互的评测依然很少,因为模拟用户很难,还会引入噪声。OSWorld 2.0 是个例外:它的一些任务内置了可供 agent 求助的模拟用户,另一些任务则会在任务中途注入改变需求的消息。错误分析显示,agent 倾向于瞎猜而不是提问,而且会忽略中途到达的消息。

我们应该在评分器上多投入,而不只是做更难的任务。基准作者在打造更难的问题上花费了大量精力,评分器却没跟上。在研究的十二个评测中,有八个经审计或问题报告发现评分器会拒绝正确的工作,有些还会放过错误或虚构的内容。随着模型不断进步,这一点愈发重要:模型误差在缩小,评分器误差却原地不动,导致剩余失败中评分器 bug 占比越来越大。以 DeepSWE v1.1 为例,一项审计发现至少有 20% 的任务中正确的解法被误判为失败,主要原因是 agent 自己编写或修改的测试与评分器的隐藏测试发生了冲突。

解决漏报问题的关键在于审查那些多个前沿模型都未能通过的测试项。而发现误报则更为棘手,因为很少有团队会仔细检查那些成功通过的运行记录。评估体系需要引入负样本测试,以验证系统能否正确拒绝已知的不良输出。Terminal Bench 在此方面做得不错,它使用了一个“不执行任何操作”的智能体和一个对抗性智能体进行测试(尽管审查者仍发现,第 4 版中有 65 个任务里的 44 个可以通过作弊手段通过)。此外,自动化审计成功运行的轨迹以检测奖励作弊(reward hacking)也很有帮助,例如 FrontierSWE 的评审小组会阅读每一条轨迹。

基准分数反映的是模型与脚手架(harness)的组合表现,而不仅仅是模型本身的能力。在评估中,模型始终运行在某种脚手架内,该脚手架定义了系统提示词、工具、压缩策略、重试预算等。同一个模型在不同脚手架下往往得分不同,且模型提供商自带的脚手架未必是最优的。在 Terminal Bench 2.0 中,某模型在中立的 Terminus 2 脚手架上得分为 57.8%,而在其自家提供商的脚手架上仅为 52.1%;另一个模型的得分则分别为 32.6% 和 19.6%。在 FrontierSWE 中,有两个模型在 Proximal 自家的 Proximus 脚手架上运行时间更长且得分更高,相比在 Claude Code 和 Codex 上的表现,这在六个任务中均如此。对于构建者而言,道理很简单——要在自己的生产环境脚手架中评估模型。


深入解析十二个基准测试 #

接下来,我们将逐一介绍十二项评估:其中四项涉及编程与科学,六项涉及知识工作,两项涉及浏览与电脑操作。对于每一项,我们将审视任务是如何构建和评分的,模型在哪里表现不足,以及我认为存在的差距在哪里。

Terminal Bench 评估智能体通过命令行完成工作的能力。相关论文介绍了 Terminal Bench (TBench) 2.0。当前版本 4.1(2026 年 11 月)包含 66 个任务,涵盖软件、科学、机器学习、运维、安全、硬件和媒体等领域。

TBench 2.0 由 93 位贡献者众包完成,共编写了 229 个任务,最终入选数据集的只有 89 个。作者估计,专家大约一半的任务能在一小时内完成,其余几乎都能在一天内搞定;初级工程师完成大多数任务需要一小时到一天,少数任务则要超过一周。每个任务都经过约三小时的人工审查,外加一个自动化 QA 流程,检查三个方面(详见附录 B2 至 B4):

  • 明确性:只有容器达到可接受的状态,单元测试才能通过,并由 LLM 审查提示词与测试之间是否存在缺口。
  • 可解性:参考解法能通过所有单元测试并贴合真实工作流,而什么都不做的 agent 会失败。
  • 完整性:让一个对抗性 agent 试图作弊,确保不存在诸如读取未来 git commit 之类的捷径。

任务在带网络访问的容器中运行,使用团队的开源评测框架 Harbor。团队还构建了一个中立框架 Terminus 2,它唯一的工具就是终端。agent 停止运行后,评分测试会被复制到工作容器中执行。打分标准是全部通过才算过关。

Terminal Bench Figure 2

论文发表时(2026 年 1 月),TBench 2.0 的最高得分是 63%,几乎是八个月前最高分的两倍。这让作者预计基准将在一年内饱和。他们的错误分析归纳出三种失败模式:

  • 执行:忽略指令、重复步骤,或者完成后不知道停手。
  • 连贯性:行动偏离推理、丢失上下文,或者跑偏任务。
  • 验证:过早停止,不检查自己的工作。

潜在缺陷: 首先,TBench 4.0 的许多任务基于未明示的要求进行评分。Epoch AI 发现 66 个任务中有 30 个存在评分缺陷,其中 11 个任务导致正确解法被判定为失败。当 Preference Model 重建了其中的 65 个任务时,他们发现 有 41 个任务是基于未明示的要求评分的——一旦将这些要求明确化(并封堵了捷径),某模型的得分便从 63% 跃升至 89%。

其次,从设计上看,该分数是一个动态目标。TBench 现已成为一个连续基准,会在每个版本发布时移除已饱和的任务。这有助于基准区分前沿模型,但也使得跨版本比较分数变得困难。如果能在一个固定的任务子集上报告伴随分数,将有助于读者追踪随时间推移的进步以及基准版本的演变。

DeepSWE 评估编码智能体在长周期软件工程任务上的表现。 为避免数据污染,每个任务均由软件工程师从零撰写,而非改编自 pull request,且从未合并回上游仓库。第 1 版包含 91 个开源仓库中的 113 个任务,涵盖 TypeScript、Go、Python、JavaScript 和 Rust。第 1.1 版(2026 年 6 月)保留相同任务,但在独立的新容器中评估智能体的变更,使运行更具可复现性且更难作弊。

工程师们负责提出难题、构建环境、编写测试,并沿以下四个维度审查彼此的任务:

  • 提示与验证器双射(具体性): 评分器精确检查指令所要求的内容,既无模糊不清的提示,也无过于严苛的测试。
  • 验收广度: 任何合理的实现都能通过,而不仅仅是参考解法。
  • 真实性: 提示听起来像真实的工程请求,维护者合理合并该结果的可能性高。
  • 环境清洁度: 无依赖项错误、不稳定的测试或基础设施问题。

每个任务还经过 LLM 辅助分析和人工审核。评分器运行三次以捕捉不稳定因素,多个前沿 agent 尝试了所有任务,以便审核人员确认通过是真实的、失败来自模型本身而非环境。

为避免评测框架影响结果,DeepSWE 统一采用 mini-swe-agent 框架(出自 SWE-Bench 作者之手),让所有模型使用相同的 bash 工具和 system prompt。评分器通过 API 和运行输出检查结果,同时结合仓库原有的测试套件来检测回归。评分采用全通过制,不使用 LLM judge,以 pass@1 报告。(从 v1.1 起,运行日志会记录每个测试的进度,但不计入分数。)

发布时(2026 年 5 月),v1 的最高分是 70%。各模型的输出 token 数、运行时长和单次成本相差一个数量级,且与通过率没有明显相关性。(最新分数见官方排行榜。)

潜在缺陷:尽管在题目专一性和验收范围上经过严格审核,DeepSWE 仍会误判正确的工作。首先,隐藏测试可能破坏有效的解法。Epoch AI 对 v1.1 的评审在 113 个任务中发现 18 个存在此问题,并将该基准评为"有缺陷"。原因是评分器会把隐藏测试文件替换进来,与 agent 自己写的测试冲突,导致编译错误——讽刺的是,这反而惩罚了那些自我验证的 agent。

其次,评分器常常比任务说明更严格。在我审查的几十条失败轨迹中,一个合理的设计选择——比如数据 schema 的嵌套方式,或者新增一个类而不是扩展现有类——就足以让原本正确的解法不通过。

FrontierSWE 用超长周期的工程和研究任务评测 agent,每次运行给 20 小时预算。Version 2(2026 年 9 月)包含 34 个任务,分五大类:实现、性能优化、科学计算、视觉推理和 AI 研究。

公共评估如何运作与失效,以及应当改变什么

这些任务由 Proximal 携手外部协作伙伴构建,运行在容器化的 Linux 工作区中,部分场景(如机器学习和科学计算任务)还配备 GPU。第二版遵循三大设计原则:

  • 公平性:每个工作区都内置自检工具,其输出直接追踪评分结果。即便提示词未明确说明,Agent 也能获得获取满分所需的全部信息。
  • 性能任务的可靠评分:第一版按实际耗时(wall-clock time)计分,导致在不同宿主机上运行时,性能评估和模型排名极不稳定。第二版改为优化加权指令数,这一指标确定性强且与机器无关。
  • 防作弊:评分器运行在独立的全新容器中,而 Agent 以非 root 用户身份运行,无法读取待评分材料。评分器还会运行公开测试的变异版本,致使硬编码答案失效;此外,QA 评审小组会审查所有执行轨迹以排查可疑行为。

所有模型都在 Proximus(Proximal 的测试框架)上以最大推理力度,每任务运行五次。Proximus 基于 mini-swe-agent 扩展了三项功能:图像查看、提交工具和压缩机制。在六项任务中,模型在 Proximus 上的运行时长和得分均高于 Claude Code 或 Codex,这意味着不同框架间的模型得分不可直接比较。

评分采用部分给制。第一版允许性能分数从零到无穷大,这让读者困惑且难以进行跨模型比较。第二版将每项任务归一化至基准分(0.0)和满分目标(1.0)之间——这是一项令人欢迎的改进。评估运行成本高昂,大多数模型每次试运行消耗 1 亿至 5 亿 tokens,而得分超过 30% 的最便宜模型平均每次试运行花费 97 美元。

发布时(2026 年 9 月),第二版最高分为 56%,次高分为 32%(最新分数请查阅官方排行榜)。Proximal 的错误分析发现三种主要拉低分数的行为:

  • 窄化优化:针对特定工作负载进行微调,却牺牲了整体系统性能的提升。
  • 时间管理不当:要么在 8 小时内提交并停止,要么耗尽 20 小时预算仍未提交。
  • 走捷径:硬编码公开答案或改写测试脚本,评分器都检测到了,这类提交得分接近零。
  • 潜在缺陷:有两处设计选择存在取舍。其一,评测直接提供了现成的自检工具——包括校验脚本、性能测试脚本和参考结果对比脚本——这不符合真实工作的常态。通常情况下,确定要测什么、怎么测本身就是任务的一半。把这些工具直接喂给 agent,评测就变成了衡量 agent 在 20 小时内能实现多少东西,而不是考验它的判断力。

    其二,把性能任务设为固定的满分目标,可能反而惩罚了特别优秀的方案。超出满分目标的 agent 和刚好达标的 agent 拿同样的分数。改用相对基线节省成本的比例来打分(比如 1 - 1/speedup)可以解决这个问题:把指令数降到基线一半的方案得 0.5 分,削减 99% 的方案得 0.99 分。

    Terminal Bench Science 用科研实验室中科学家真实的计算工作流来评测 agent。v0.1 版本包含 70 个任务,覆盖五个领域:生命科学(19)、物理科学(17)、数学科学(17)、工程科学(9)和地球科学(8)。

    该项目由 Stanford 大学和 Terminal Bench 团队主导。贡献者在 GitHub 上提交了 920 个任务,最终 70 个入选 v0.1。任务作者估计,领域专家完成每个任务平均需要 12 小时。评审按三条标准筛选:

    • 有科学依据:源自真实科研工作流,需要领域知识才能解决,而不是玩具问题或教科书习题。
    • 可客观验证:输出能通过程序检查,排除假设生成、文献综述这类开放式工作。
    • 确实困难:前沿模型目前还无法稳定解决该任务。

    任务遵循 Terminal Bench 的设定,赋予智能体完全开放的互联网访问权限,每项任务限时八小时。智能体生成分析、模拟、证明、代码或数据产品等输出文件。运行结束后,这些文件会被拷贝到全新的验证器容器中,在此执行测试(例如,在容差阈值内将数值结果与参考值进行比对)。在发布结果中,每个模型都在各自的编码框架(如 Claude Code、Codex)上进行了三轮测试。评分标准采用全通过制。

    分数偏低是刻意为之。团队的目标是让前沿模型在发布时仅能完成 10% 到 20% 的任务。在 2026 年 8 月发布时,v0.1 版本的最高分为 30%,第二高分为 22%。受测的九个模型中,有五个模型解决的问题比例不足 10%。(最新分数请查阅官方排行榜。)

    潜在漏洞:低分未必都是模型的错。首先,许多任务似乎误判了正确的工作成果。自发布以来,针对 70 项任务中的 57 项,已提交了 128 个任务修复问题,其中 79 项报告了验证器或指令的 Bug。例如,某验证器仅因行顺序不同就拒绝了正确的预测,而另一份标准答案错误地将两个未发炎的样本标记为发炎。

    第二,全对评分掩盖了模型距离通过有多近。即使某项任务计算的是准确率或误差这类连续指标,也必须输出 0 或 1 的二元奖励。有个任务要求 100 颗恒星的类别和周期全部正确才算通过——有次评测报告做对了 99 颗却得零分。如果把部分得分和全对得分一起公布,这个任务就能得到 0.99 分。 GDPval 评估模型在经济上有价值的知识型工作上的表现。该基准涵盖美国 GDP 前九大行业中的 44 个职业,共 1,320 个任务(每个职业 30 个),其中 220 个任务(每个职业 5 个)作为公开的黄金子集。这些任务对专家来说平均需要七小时,有些甚至要几周。 OpenAI 招募了至少有四年从业经验(平均 14 年)的行业专业人士,让他们从自己的实际工作中编写任务。每个任务包含指令提示词、参考文件(如电子表格、文档、图片),以及该专业人士自己的交付成果作为人类基线。每个任务先由一个 OpenAI 模型筛选,再经过至少三轮人工审核(平均五轮)。审核者检查三项标准:
    • 代表性:反映该职业的真实工作内容。
    • 可行性:其他专业人士凭借给定上下文能够完成。
    • 清晰性:描述足够明确,可据此评估交付成果。
    模型接收提示词和参考文件,可以使用网络搜索和代码解释器,每个任务运行三次。评分采用盲测两两比较:来自同一职业的三位专家在不知道来源的情况下,将模型的交付成果与人类基线对比,评为更好、相当或更差。核心指标是胜率——模型获胜或打平的比较占比。

    由于通用知识工作带有主观性,评分往往存在噪声。人类专家评审员彼此意见一致的比率为 71%,而用于执行相同成对比较的评审模型与人类专家意见一致的比率仅为 66%。

    GDPval Figure 4

    在专家耗时不到两小时的短任务中,模型胜率最高;随着任务时长增加,胜率随之下降。对专家反馈进行聚类分析后,揭示了三种主要失败模式:

    • 指令遵循:遗漏请求中的部分内容、忽视参考数据或使用错误格式。这是各模型中最常见的失败原因。
    • 格式呈现:布局和渲染错误。例如,在 Prompt 调优之前,GPT-5 生成的 PDF 中超过一半存在黑块瑕疵。
    • 准确性:各模型均存在数据幻觉或计算错误。

    潜在漏洞:公开评分标准可能将“指令遵循”置于与“专业判断”同等甚至更高的权重。在我抽样的十几项任务中,约有一半的评分标准用于检查指令遵循情况,例如指定章节、字段或页数限制。其余部分则检查正确性或判断力,如在发放贷记款前核对退货与仓库报告。这与论文中的发现一致,即模型主要是在指令遵循环节失分。

    Agents’ Last Exam (ALE) 评估智能体在长周期、具有经济价值且结果可验证任务上的表现。版本 1 涵盖 13 个产业集群中 55 个子领域的 1,490 项任务,其中包含 152 项公开任务。版本 1.1 下架了 30 项任务,并修订了剩余 122 项中的 57 项。(趣闻:其中一位作者后悔选用了这个名字,认为它应叫“智能体第一考”,因为这只是尝试真实专家工作流的初次尝试,而非最后一次。)

    超过 250 名由顾问委员会招募的行业专家提交了耗时数天甚至数周的历史项目。随后,工程团队将这些项目转化为可执行的任务。每项任务都需经过三项标准的筛查:

    • 代表性:贴近真实的职业工作场景,使用专家实际在用的软件。
    • 复杂度:一个端到端的交付成果需要专家投入大量时间才能完成。
    • 可验证性:输出结果可以被确定性地检验。开放性的任务会围绕可检验的目标重新设计(例如,“设计一个游戏”变成“复现这个游戏”)。

    Agent 在一台预装了专业软件和输入文件的 Ubuntu 或 Windows 虚拟机中运行。Agent 通过 shell 和桌面操作进行工作,直到完成任务或达到五小时的时长上限。ALE 不固定 agent harness,任何 harness(如 Claude Code 或 Codex)都可以带着自己的工具、记忆和 sub-agent 参与运行。ALE 还提供了一个桥接层,把截图、点击等桌面操作暴露给以 CLI 为主的 harness。

    评分采用部分得分制(0 到 1 分),对照一份隐藏的参考答案,93% 的评分是确定性的。默认情况下,ALE 避免使用 LLM 评审,因为评审规则的更新可能会悄悄改变 agent 的排名。任务作者会根据交付物选择合适的比对方式:对于标志类任务用精确/哈希匹配,对于电子表格用逐字段容差比较,对于 3D 模型用与参考网格的表面距离,对于代码用留出的测试套件,或者由专家定义验收区间。只有那些没有代码参考的创意或感知类输出(如渲染场景或动画预览)才会使用 LLM 评审,且评审范围限定在“纹理的位置和朝向是否足够正确、可以通过?”这类窄的是/否问题上。

    ALE 报告平均得分和全通率(获得满分的任务占比)。在发布时(2026 年 6 月,v1),表现最好的配置在公开任务上的全通率为 24%。平均得分最高的是计算数学以及农业/环境领域(55% 到 85%),其次是商业和法律(50% 到 55%),最低的是教育领域(低于 25%)。(最新分数见官方排行榜。)作者归纳了三类失败模式:

    • 方法错误(47%):理解了领域知识,但选择了错误的策略(30%)或过早放弃(17%)。
    • 理解错误(31%):缺乏领域知识(25%)或编造数据(6%)。
    • 执行错误(22%):输出格式错误(10%)、实现存在 bug(8%)、或 GUI 交互失败(4%)。

    潜在缺陷:首先,过分强调可验证性会导致任务描述过度细化。在 v1.1 版的 122 个公开指令中,有 83 个针对文件名、路径或标签使用了“精确”(exact)或“严格精确”(exactly)的措辞。甚至有一个骨骼动画任务,直接列出了输出结果必须包含的全部 19 个骨骼名称。这种设计考察的是执行详尽规格说明的能力,而非界定真实交付范围的能力。

    其次,v1.1 版中的许多公开任务更偏向学术练习而非工业界工作,偏离了代表性评估的目标。约有一半的任务涉及科学或科研计算,通常基于公开科研数据集或已发表论文,例如复现论文中的表格或对心电图(ECG)记录进行分类。这意味着该基准实际上测量的不仅是其初衷所指向的专业工作,还有科研风格的计算能力。

    AutomationBench 通过 REST API 评估智能体(agents)在跨应用工作流编排方面的能力。它包含 600 个公开任务,覆盖销售、营销、运营、支持、财务和人力资源六个领域,每个领域各 100 个。另有 600 多个私有任务保留用于排行榜排名。这些任务横跨 47 个模拟应用。

    Zapier 利用大语言模型(LLM,包括 Opus 4.6、GPT 5.3 和 Gemini 3)合成生成这些任务,并以收到负面反馈的真实客户工作流作为种子数据(即“困难挖掘”策略)。简单任务通过增加无关数据、为错误记录使用相似名称以及引入相互冲突的业务策略等方式被强化难度。私有任务集接受了额外的强化处理,以降低过拟合风险。每个任务必须满足以下标准:

    • 可观察结果:至少产生一种具体的状态变更,例如创建记录或更新字段。
    • 确定性验证:基于对最终状态的结构性检查进行评分,不包含自由形式的标准。
    • 推理结果必须落地:任何判断性决策都必须体现在最终状态中,例如状态字段。

    Agent 运行在一个模拟的企业环境中,里面的应用(CRM、收件箱、电子表格)预先填好了业务数据。评测没有封装 agent harness,模型直接在 tool-calling 循环中运行,只有两个工具:Search(对 API schema 做关键词搜索)和 Execute(类似 curl 的接口调用),也就是说 agent 得自己找出正确的 API 端点。运行在 agent 停止或达到 50 步上限时结束,每个任务只跑一次。

    AutomationBench Figure 1

    评分采用全通过制,因为企业不想要半成品的工作流。评分同时是确定性的,以保证结果可复现。断言会对最终状态做精确字符串匹配和结构校验,还包括针对"过度行动"的反向断言——比如把邮件发给了全公司而不是指定收件人,就会判定失败。

    在发布时(2026 年 4 月),最好的模型只通过了 9.9% 的私有任务。由于榜单分数来自更难的私有任务集,公开集的成绩不能和榜单直接比较。(最新分数见官方排行榜。)在分析失败的案例中,72% 到 91% 的情况下模型都错误地宣称任务成功。论文总结了三种常见的失败模式:

    • 找不到数据:通用搜索失败后就直接放弃,或者凭主观猜测数据的位置(比如以为在 CRM 里,实际在电子表格中)。
    • 漏掉条目:只处理了列表的一部分(比如 12 封邮件只处理了几封),然后像全部完成一样收尾。
    • 丢失精确细节:对提示词要求逐字使用的内容进行了改写或直接遗漏。

    潜在漏洞:断言框架可能在两种情况下误判运行结果。首先,许多公开任务的评分标准并未明确说明。一份审查报告指出,600个公开任务中有108个问题:43个因任务信息缺失或冲突,65个因评分缺陷。另一份审查在约2600次代理运行中发现,115个任务的检查项错误地拒绝了正确的工作成果,例如将“150,000”和“150000.0”视为不同的数值。由于私有排行榜使用相同的断言框架,它很可能存在同样的缺陷。

    其次,子字符串匹配是判断消息内容是否正确的弱代理指标。在公开任务中,约9700个断言中有57%仅检查邮件、Slack消息或记录是否包含或排除特定字符串。除了会误判合理的措辞外,这还可能导致假阳性:94个任务检查消息中是否包含一或两位数字,例如“4”,任何包含该数字的日期或ID都会通过测试。因此,测试通过或失败可能反映的是代理的措辞而非工作流的正确性。

    Harvey的法律代理基准(LAB)评估代理处理长周期法律工作的能力。公开数据集(v1.3.0,2026年10月)包含2010个任务和约11.4万个评估标准。这比2026年5月发布时的约1250个任务有所增加。排行榜基于一个保留的120个任务数据集运行,涵盖选定的24个执业领域,每个领域5个任务。

    Harvey基于执业律师处理的真实客户案例,将其拆解为独立的合伙人至初级律师任务。案件文档——合同、邮件、律所模板——是合成的,基于虚构的人物、公司和事实生成。每个任务围绕三个特征构建:

    • 模糊的指令:指令平均50个词,只说明需要什么,而不规定格式或风格。
    • 带噪声的场景:关键文档和外围文档混杂在一起,问题分散埋藏在多份文档中。
    • 原子化评分标准:由专家撰写的二元判定标准,逐项拆解客户或合作方会审查的内容,包括事实、引用或具体金额。

    LAB 如何将律所工作流编码为 agent 任务 LAB 如何将律所工作流编码为 agent 任务

    Agent 在离线沙箱中以只读方式访问案卷文件,通过 Harvey 的测试框架 lab-core 运行,所有模型都在同一套工具调用循环中执行。Agent 拥有六个工具(bash、read、write、edit、glob 和 grep),外加三个用于生成 Word、Excel 和 PowerPoint 文件的技能。当 agent 调用 finish 工具、停止调用工具或达到 200 轮上限时,运行结束。

    由 LLM judge 对每条标准单独判定通过或不通过。Judge 只能看到任务标题、交付文件和评分标准,不提供参考答案和案卷文件。评分采用全对制,这反映了 Harvey 的观点:“全对评分符合高风险法律工作的实际审核方式——找出大部分问题并不能得到部分分数。”

    发布时(2026 年 5 月),表现最好的模型在留出任务上的通过率仅为 7.1%。第三方排行榜不能直接对比:Vals AI 在 Harvey 的测试框架和 LLM judge 基础上做了一些改动,而 Artificial Analysis 则使用自己的框架、judge 和指标。(当前分数可查看 Vals AI 和 Artificial Analysis 的排行榜。)Harvey 的分析发现了三种与得分高低相关的行为:

    • 不审查就起草:跳过验证或修订平均会降低 1.2 分,而检查后再修订可提高 1.5 分。
    • 噪声式工具扇出:单轮调用五个及以上工具会降低 0.5 分。
    • 先阅读再起草:起草前覆盖超过 90% 的文档可提高 0.4 分。

    潜在缺陷:评分标准可能在两个方向上误判交付成果。首先,当标准无法仅依据案卷文件满足时,LAB 会不公正地否决忠实执行任务的 Agent;而在“全部通过”的评分模式下,哪怕仅有一条标准无法满足,整个任务就会被判为失败。Vals AI 指出,Harvey 曾在 120 项任务的留存集中移除了 17 条无解标准。在公开集中,有一条标准要求提供仅出现在评分标准中而案卷文件中缺失的会议日期,导致该标准永远无法通过;另一条标准则要求估算损害金额,但任何文件均无此数据。遗憾的是,这类错误的标准会惩罚那些忠实执行任务的 Agent。

    其次,由于评分标准仅检查预期要点是否存在,且 评审器 从未见过案卷文件,LAB 也可能放过包含幻觉的内容。Artificial Analysis 发现,在通过所有标准判定的交付成果中,超过 60% 包含实质性幻觉——如错误的当事方、金额或日期。

    Finance Agent 针对上市公司财报的复杂分析能力评估 Agent。 2.1 版本(2026 年 10 月)涵盖九类分析师工作,共 926 项任务,如可比公司分析、先例研究、盈利分析及财务建模。其中 27 项为公开任务,450 项构成可授权的私有验证集,449 项组成私有测试集。

    Vals AI 与金融专家共同设计了这些任务,旨在匹配投资银行第二或第三年分析师应有的分析深度。相比 v1 版本侧重检索的 537 项任务,v2 版本扩展至 927 项流程驱动型任务;v2.1 则在专家评审后优化了提示词和评分器。每项任务均围绕四项标准设计:

    • 确定性:拥有唯一且无歧义的正确答案。
    • 多源信息综合:需要跨多份申报文件或数据源串联信息,而不是简单的单次查询。
    • 领域专业性:依赖隐性的行业知识和行业惯例,而非明确的指令。
    • 取证级精度:关键细节往往埋藏在脚注、免责声明或会计政策披露中。

    所有模型在相同的工具调用循环中运行,配备六个工具:SEC EDGAR 搜索、网页搜索、页面解析器、对已解析页面的检索(避免长篇申报文件撑爆上下文)、计算器,以及历史价格数据。评测框架将日期固定在 2026 年 3 月 1 日,并把搜索范围限制在该日期之前。智能体提交最终答案后本次运行即结束;超过两小时时限的运行记零分。

    Finance Agent Figure 3 v1 论文中的评测框架示意图,展示 v2.1 六个工具中的四个

    三个 LLM 组成评审团,按照按严重程度加权的检查项标准给答案打分。关键事实或数字被标记为“一票否决项”,任何一项不过关,该任务得分直接归零。评分采用部分得分制,主要指标是应用一票否决后的严重程度加权平均分;全部通过(所有检查项均通过)则作为次要指标上报。

    在发布时(2026 年 10 月,v2.1),排名第一的模型在私有测试集上的部分得分为 68%,全部通过率为 59%(基于 Vals AI 的评测框架运行;排行榜)。得分最低的任务是判例分析(49%)、财务建模(57%)和可比公司分析(64%)。Vals AI 对 v2 和 v2.1 的错误分析指出了三种典型失败模式:

    • 细节缺失:很少能给出完整回答,常常遗漏分析师会写进去的核心细节。
    • 计算不精确:在多轮对话中逐步计算,最终结果接近标准答案但不够精确,无法通过检查。
    • 搜索无果:过度依赖探索性的网页搜索和检索调用,最终却得不到正确答案。

    潜在问题:有些评分标准把未明说的要求也算进分数。比如有一道公开题目问三家公司中哪家杠杆率最高,但其"一票否决项"里却包含了三项指标的同行均值(直到最近的评分标准更新才移除)。如果答案选对了公司但没列出这些均值,也会被判失败。这样一来,分数反映的可能不只是模型有没有答对问题,还包括它有没有迎合出题人的写作习惯。

    HealthBench Professional(HealthBench Pro,2026 年 4 月)用于评估模型的临床任务能力。涵盖三类使用场景:护理咨询(45%)、写作与文档(27%)、医学研究(28%)。共 525 个任务,其中约三分之一来自红队测试——由医生刻意诱导模型出错。

    这些任务由来自 50 个国家、26 个专科的 190 名医生在测试 ChatGPT for Clinicians 时构建。他们以两种模式工作:正常使用(常规场景)和红队测试。每个任务包含一段医患式的模型对话(以用户发言结尾)、一份医生撰写的基准回答,以及按分值加权的评分标准(每项标准 -10 到 +10 分)。任务构建分三个阶段。

    • 撰写:一名医生创建对话、起草初始评分标准,并给模型的最后一轮回答打 1 到 7 分。
    • 审核:其他医生检查评分标准的质量和任务的真实性;对于被评为 1 或 2 分的回答(标记为难题),需由两名医生确认该回答确实存在问题。
    • 裁决:医生们剔除主观性标准,只保留业内广泛共识的执业规范。

    HealthBench Professional Figure 1

    OpenAI 从 15,079 个候选任务中通过分层抽样选出最终的 525 个,并把难题的比例提高到候选池的约 3.5 倍,以便为未来更强的模型留出提升空间。

    在评估时,模型(或类似 ChatGPT for Clinicians 这样增加了证据检索功能的系统)读取对话并生成一条回复。模型以最高推理强度运行,使用默认系统消息,每个任务取八次采样的平均值。

    评分采用部分给分制。由一个 LLM 评分器(GPT-5.4,低推理强度)对每条标准独立判断是否满足:正向标准加分,负向标准扣分。任务得分等于实际得分除以正向标准的满分,因此可能为负。分数最后乘以 100。由于回复越长,满足正向标准的机会越多,主评分做了长度校正:超过 2,000 字符的部分每 500 字符扣 1.47 分,不足部分则按同样幅度加分。总分就是校正后各任务得分的平均值。

    潜在问题:评分方式上有两个选择限制了结果的实际意义。第一,评分标准出奇地单薄。525 个任务总共只有 1,135 条标准,平均每条约两条。相比之下,原版 HealthBench 每个任务约有 11 条。一份独立分析发现,47% 的任务只有一条正向标准。因此,得分反映的可能只是回复是否命中了医生挑选的那一两条检查点,而非整体回复质量。

    第二,长度校正对所有任务统一使用 2,000 字符的目标值,不管是快速问诊还是完整的临床记录。但医生自己写的基线回复长度就分布在约 600 到 3,800 字符之间(第 10 到第 90 百分位)。以医生的回复长度为基准来校正,可能会更公平。

    BrowseComp 通过需要浏览网页才能回答的高难度多跳问题来评估智能体。该基准(2025 年 4 月)共有 1,266 个问题,涵盖十个领域,包括影视剧(16%)、科技(14%)、艺术(10%)和历史(10%)。

    人类训练师按照 OpenAI 早期 SimpleQA 的指南编写题目。每道题由多个约束条件组合而成(比如日期范围、人物背景、事件细节),指向一个简短且不受时间影响的唯一答案(一个名字、头衔或数字)。题目必须满足三个标准:

    • 有挑战性:当时的前沿模型(如带浏览功能的 GPT-4o)解不出来,答案也不会出现在五次简单 Google 搜索的第一页结果里。此外,另一个人也无法在十分钟内解出(这条执行得比较宽松)。
    • 难解易验:训练师采用“反向出题”的方式:从一个种子(如人物、事件或物品)出发,组合多个宽泛的特征。这样,找到答案可能需要翻阅成千上万页资料,而验证答案只需几次搜索。
    • 大概率但并非绝对保证答案唯一:反向出题可能碰巧匹配到多个实体,因此训练师会不断添加约束条件,直到相当确信只有一个答案符合。

    BrowseComp example questions

    评测时,agent 收到题目后需按三部分作答:解释、精确答案,以及 0% 到 100% 之间的置信度。OpenAI 的 simple-evals repo 会把每道题发给模型并对其回答打分,搜索和浏览工具则由运行评测的一方提供。

    评分采用二元的准确率。由 LLM 评分器提取最终答案并与参考答案比对(数字答案允许少量误差)。之所以选简短答案,是为了让评分简单又便宜。发布时(2025 年 4 月),OpenAI 的 Deep Research 答对了 51.5% 的题目,而带浏览功能的 GPT-4o 只有 1.9%。人类训练师在不用 AI 的情况下答对了 29%(剩下的两小时后放弃了)。

    原始来源: Eugene Yan

    评论 (0)