GPT-6 Astra 基准测试结果两极分化，ARC-AGI-3 表现超预期
OpenAI 的 GPT-6 Astra 在基准测试中给出了截然相反的 verdict。Epoch AI 将其列为榜首，而 Artificial Analysis 则认为它并不比前代更出色。最大的惊喜来自 ARC-AGI-3——Astra 首次以高于普通人类的速度完成了任务。ARC Prize 负责人 François Chollet 称这一进展比他预期的快了两倍，并提前了他的 AGI 预测时间线。
两家独立实验室都将数十项单独测试整合为一个总分，却得出了相反的结论。Epoch AI 综合了超过 50 项基准测试，将 GPT-6 Astra 以 169 分高居第一，领先于 267 款模型。Artificial Analysis 测试知识、编码和文本理解能力，GPT-6 Astra 仅得 61 分，与前代持平，落后于获 66 分的 Claude Fable 5.1。
Astra 的定价显然高于其前代。OpenAI 每单位处理文本的成本是 Sol 的 2.5 倍，这使得完成任务的成本高出约 75%。但与 Anthropic 相比情况则反转：在编码任务上，Astra 根据 Artificial Analysis 评分与 Claude Fable 5 持平，但每项任务的成本不到后者的一半。原因在于该模型非常节省算力。它所需的计算步骤仅为 Sol 的三分之一、Opus 5 的五分之一。
| 基准测试 | Astra | Sol | Fable 5.1 | Opus 5 |
|---|---|---|---|---|
| Epoch ECI 总分 | 169 | 162 | 163 | 162 |
| AA Intelligence Index | 61 | 61 | 66 | 63 |
| ARC-AGI-3，未知游戏世界 | 62.7% | 7.8% | 无数据 | 30.2% |
| ARC-AGI-2，抽象视觉谜题 | 95.0% | 92.5% | 90.0% | 90.4% |
| ARC-AGI-1，旧版本 | 98.5%* | 97.5% | 97.5% | 97.5% |
| FrontierMath Erdős，开放数学 | 3% | 0% | 0% | 无数据 |
*GPT-6 Astra 在高推理强度下表现；最高可达 97.5%。ARC-AGI-1 目前被认为已基本饱和。
在 Coding Agent Index 上，它的得分约为 Sol 的三分之一，达到 67 分，而 Fable 5.1 以 70 分领先。AA-Omniscience 上的幻觉率从 92% 降至 51%。与此同时，该模型在 GDPval-AA v2 上损失了约 80 个 Elo 积分，在银行支持、SciCode 和长上下文推理任务上也出现下滑。
Epoch AI 报道称，在新的 FrontierMath Erdős 上，GPT-6 Astra 是唯一一个在每次尝试预算 300 美元的条件下，解决了 68 个开放 Erdős 问题中两个（且证明经过 Lean 验证）的模型。另有三个解决方案来自非标准化的额外运行，消耗了超过 22 万美元的计算资源，但 Epoch 表示这些不计入分数。
仔细查看 Epoch 的单项数据可以发现，GPT-6 Astra 和 rival Fable 5.1 迄今是在不同条件下进行测试的。Astra 在数学、知识和谜题方面领先，而 Fable 5.1 在几乎所有编码测试中均名列前茅。但 Epoch 目前只记录过 Astra 的一个编码分数，且该分数来自中等推理强度的运行。
ARC-AGI-3 显示出巨大飞跃
最明显的跃升出现在 ARC-AGI-3 上。该测试将 AI 置入其不了解的游戏世界，规则和目标无人告知，模型必须通过试错来推断应该如何行动。GPT-6 Astra 在约 26,000 美元的测试成本下达到 62.7% 的得分。其前代 GPT-5.6 Sol 仅达到 7.78%，而竞品 Claude Opus 5 为 30.16%。Fable 5 和 Fable 5.1 尚未进入该基准测试。
OpenAI 此前报告的 99.9% 成绩是在不同条件下取得的。在那种设置中，Astra 可以使用 OpenAI 构建的框架，该框架能在单个请求之间保持推理链，并自动对长运行过程进行总结。根据 ARC Prize 的测量，与内置框架相比，这两种设置在共同解决的 167 对游戏推理任务中，OpenAI 的框架运行速度提升了约 3.66 倍，且 Token 使用量减少了 49%。
这类测试工具的使用，以及随之而来的成绩提升，此前就曾在 ARC Prize 和 OpenAI 之间围绕 GPT-5.6 Sol 引发争议。ARC Prize 指出，只有在自家内部 ARC 测试工具上跑出的 62.7% 这一较低数字，才能让各家厂商的结果公平比较，不过它计划未来也公布各厂商自有测试工具得出的数字。
在这里，思考越多，账单越低
思考力度与成本之间的关系颇为反常。通常来说，推理层级越高，测试成本也越高。但 Astra 恰恰相反。在标准 ARC 测试框架下，成本从不开推理时的 49,791 美元降至最大推理时的 26,098 美元，而得分却从 35.2% 升至 62.7%。ARC Prize 解释说，原因是 Astra 用更少的步数通关，这意味着更少的模型调用和更少的 token。不过有个怪现象：设置在"low"档时得分只有 17.5%，比完全不开推理还差。ARC Prize 没有解释这一异常，但 GPT-6 Astra 在其他基准测试中已经表明，凭借新架构，它无需推理也能解决长程任务——这一架构据推测会在生成第一个 token 之前在内部循环处理。
作为对比，人类测试者每 90 分钟场次报酬 115 美元，每解出一关另加 5 美元，按平均约九次尝试计算，解出一关大约花费 12.78 美元。不过这笔钱主要买的是时间和参与意愿。如果只把大脑消耗的代谢能量折算成电费，ARC Prize 算出每关成本仅为 0.067 美分。
比分数本身更有意思的是效率。发布前，ARC Prize 让约 500 名测试者在没有任何预筛选的情况下试玩，并记录了每一关中通关者步数的中位数。在使用 OpenAI 测试框架的运行中，Astra 有 96% 的关卡步数少于该中位数，平均只需一半多一点。与常见的成本指标不同，这个数字衡量的不是消耗了多少算力，而是模型在掌握一个环境之前需要积累多少经验。
这正是组织者原本认为人类能保持持久优势的地方。对暴力穷举方法来说，这一点依然成立；但在顶级模型上，ARC Prize 呈现出近乎二元的模式：一旦模型搞懂机制，其执行效率就能达到人类水平。
Astra 自创notation
为此，Astra 会保留自己的笔记，并推演出一套自创的、类似代数的速记法，用来记录对象、坐标、规则和待办计划，例如将一系列动作写成 extend8 to3; retract10 to2，或将状态记为 Turn 5: P=(24,20), empty, facing west。ARC Prize 观察到其他模型也有类似行为，但 Astra 因其精确度和信息密度而脱颖而出。在标准评估框架下，这是一项重要能力，因为模型没有写入自身可见笔记的内容都会丢失。
ARC 联合创始人 François Chollet 在 X 上将其描述为“针对每个游戏和关卡的高度高效、即时的符号化世界建模”。该模型甚至“开发出属于自己的速记 DSL 来表征游戏内情境”，其核心“本质上是一种特定于游戏的代数符号体系”。对 Chollet 而言，更关键的是这种行为从何而来：“Astra 展现出象征性建模行为，我们此前只在复杂的 harness 中见过，因此 harness 的能力正逐渐转移到模型本身。”
Astra 构建了一个密集且紧凑的符号化世界模型，以完成 ARC-AGI-3 环境中的任务。
例如，在环境 s5i5 中，Astra：
- 记录了当前关卡、枢纽朝向和机构长度：“L8: hub q2 (8↓). Lengths: 14=1…”
- 将操作映射到具体控制指令：… pic.twitter.com/tMHP002mkB
— ARC Prize (@arcprize) 2026 年 9 月 3 日
第三项测试环境展示了 Astra 配合外部工具时的能力。PRO-LONG 是由第三方开发的 agent 框架，ARC Prize 团队在早期就将其部署为 ARC-AGI-3 的红队伙伴——即用于系统性地探索该基准的边界。与标准设置不同，此处为模型提供了一个沙箱，使其能够执行自身的代码。
Astra 抓住了这个机会，为每个游戏编写了小型程序库：包括游戏棋盘解析器、状态模型、搜索算法和规划器。在一款包含守卫的迷宫游戏中，先后开发了寻路模块、战斗规则模块、巡逻行为模型，以及一个持续将自身预测与观测结果进行对比的脚本。ARC Prize 并未观察到任何试图跳出沙盒环境的尝试。这些运行结果无法与人类测试条件相提并论，因为被测的人类受试者既没有代码解释器，也没有记事本。这里衡量的是模型与自建工具的组合性能。
Chollet：尚无 AGI 证据，但进展快于预期
ARC Prize 明确表示不将结果解读为通用人工智能（AGI）的证据。Chollet 写道：“目前我们对系统的了解仅限于基准测试分数。”在 ARC-AGI-3 发布时，他们在每次演示中都强调一点：“解决该任务并非 AGI 的证明，它也不是终点线。”尽管该基准测试确实检验了 AGI 系统应具备的正确定性属性——即在不确定性下的探索、无指导的适应能力，以及从稀疏数据中进行因果世界建模——但这些测试是在“小规模”下进行的。游戏运行的时间尺度比现实世界任务短了几个数量级，因此所需数据更少、建模复杂度更低，也不需要那么多即时学习。
约六个月前 ARC-AGI-3 发布时，Chollet 在回答关于何时会达到饱和的问题时表示“大约一年”，具体取决于对基准测试的专注程度。因此，Astra 到达的速度约为预期的“两倍”。Chollet 表示：“我相信进步的速度会让许多人感到惊讶，新模型所具备的能力将会挑战人们基于早期模型形成的 AI 认知。”当被问及他此前关于 2030 年实现 AGI 的预测是否仍然成立时，Chollet 简短回答：“更早，因为进步比我预期的要快。”
结果就是又一个基准测试。据 Chollet 介绍，ARC-AGI-4 自 ARC-AGI-3 发布后就已开始开发，计划于 2027 年第一季度推出。基准测试是一个持续演进的过程，需要与模型共同发展，始终瞄准 AI 与人类智能之间尚存的差距。该组织认为 ARC-AGI-3 本身仍相当局限：机制是确定性的，目标是封闭式的，也没有刻画开放的真实世界。下一代基准将探索递归自我改进和开放式创新等方向。