Hacker News 3小时前 · 2026-09-06 19:33:15 · 4 阅读
GPT-6 Astra 控制机器人机械臂评测
本文是对 我们之前对比 Claude Fable 5 与 Fable 5.1 的后续研究。 我们在相同的 Inspect Robots 智能体策略下，让 OpenAI 的 GPT‑6 Astra 控制相同的 YAM 机械臂，完成同样的两项任务：
“从桌面上拿起红色积木，放入碗中。”
“捏住圆形蓝色拼图中心的小把手，将其嵌入板上对应的圆形凹槽中。”
在放碗任务中，Astra 在 20 次试验里有 19 次 成功，而 Fable 5.1 仅成功 8 次，Fable 5 仅 1 次。Astra 每次耗时 2.5 分钟，低于 Fable 5.1 的 6.8 分钟；预估每次成本为 $0.94，低于 Fable 5.1 的 $2.12。
拼图任务则另当别论：Astra 在 20 次中仅完成 2 次，与 Fable 5.1 持平。两者都到达凹槽附近，但在最后一步停滞不前，Astra 每次成本 $1.36，低于 Fable 5.1 的 $2.18。
积木入碗：每个模型最佳的一次完整运行（以达到的最高阶段为准，其次取时间最短），各自以相同的加速倍率播放。计时器显示实际 elapsed 时间，已剔除思考暂停段。
Astra 在碗任务上的成功率远高于对手，且单次成本约为前者的一半
粗点表示条件均值；淡点为各次试验（成功计 100，失败计 0）及其对应成本。
评分标准
每次试验均由人类评分员根据所达到的最高阶段打分，因此即使失败，也能记录其进展程度。评分细则与 Fable 报告保持一致。
| 0 | 未有任何目的性靠近 |
| 1 | 与目标物体接触 |
| 2 | 将物体完全抬离桌面 |
| 3 | 将其定位至放置点上方 |
| 4 | 放入最终位置 |
Astra 几乎每次都能将积木放入碗中；而在拼图任务上，它在 Fable 停滞的地方同样卡住
各模型达到每个阶段的试验占比；每行 n 为该单元格对应的试验次数。
结果
| 任务 | 模型 | 平均阶段 | 完成次数 | 完成率 | 每次输出 token 数 | 预估每次成本 | 运行时间（分钟） |
|---|---|---|---|---|---|---|---|
| 积木入碗 | Fable 5 | 1.30 | 1 / 20 | 5% | 19.2k | $2.69 | 8.2 |
| 积木入碗 | Fable 5.1 | 2.40 | 8 / 20 | 40% | 12.9k | $2.12 | 6.8 |
| 积木入碗 | GPT-6 Astra | 3.95 | 19 / 20 | 95% | 2.1k | $0.94 | 2.5 |
| 拼图入槽 | Fable 5 | 1.50 | 0 / 20 | 0% | 16.3k | $2.63 | 7.9 |
| 拼图入槽 | Fable 5.1 | 2.35 | 2 / 20 | 10% | 10.5k | $2.18 | 5.9 |
| 拼图入槽 | GPT-6 Astra | 2.00 | 2 / 20 | 10% | 2.7k | $1.36 | 3.4 |
全部运行记录
共计 120 次试验，全部计入统计。
| 任务 | 模型 | 得分 | 用时（分钟） | 输出 token 数 | 转录文本 | 视频 | 重跑数据 | ||
|---|---|---|---|---|---|---|---|---|---|
| 积木入碗 | GPT-6 Astra | 4 | 1.7 | 1,533 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 1.7 | 1,734 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 1.7 | 1,573 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 1.8 | 1,669 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 1.9 | 1,570 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 1.9 | 1,612 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 2.1 | 1,845 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 2.3 | 1,923 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 2.4 | 2,011 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 2.5 | 2,104 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 2.6 | 2,189 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 2.7 | 2,267 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 2.8 | 2,345 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 2.9 | 2,423 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 3.0 | 2,501 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 3.1 | 2,579 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 3.2 | 2,657 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 3.3 | 2,735 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 3.4 | 2,813 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 3.5 | 2,891 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 3.6 | 2,969 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 3.7 | 3,047 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 3.8 | 3,125 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 3.9 | 3,203 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 4.0 | 3,281 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 4.1 | 3,359 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 4.2 | 3,437 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 4.3 | 3,515 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 4.4 | 3,593 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 4.5 | 3,671 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 4.6 | 3,749 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 4.7 | 3,827 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 4.8 | 3,905 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 4.9 | 3,983 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 5.0 | 4,061 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 5.1 | 4,139 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 5.2 | 4,217 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 5.3 | 4,295 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 5.4 | 4,373 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 5.5 | 4,451 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 5.6 | 4,529 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 5.7 | 4,607 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 5.8 | 4,685 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 5.9 | 4,763 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 6.0 | 4,841 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 6.1 | 4,919 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 6.2 | 4,997 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 6.3 | 5,075 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 6.4 | 5,153 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 6.5 | 5,231 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 6.6 | 5,309 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 6.7 | 5,387 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 6.8 | 5,465 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 6.9 | 5,543 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 7.0 | 5,621 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 7.1 | 5,699 | 查看 | 播放 | 下载 | ||
| 积木入碗 | GPT-6 Astra | 4 | 4 | 2.1 | 1,491 | 查看 | 观看 | 下载 | |
| 方块放入碗中 | GPT-6 Astra | 4 | 2.1 | 2,153 | 查看 | 观看 | 下载 | ||
| 方块放入碗中 | GPT-6 Astra | 4 | 2.1 | 1,782 | 查看 | 观看 | 下载 | ||
| 方块放入碗中 | GPT-6 Astra | 4 | 2.2 | 2,034 | 查看 | 观看 | 下载 | ||
| 方块放入碗中 | GPT-6 Astra | 4 | 2.5 | 2,441 | 查看 | 观看 | 下载 | ||
| 方块放入碗中 | GPT-6 Astra | 4 | 2.5 | 2,625 | 查看 | 观看 | 下载 | ||
| 方块放入碗中 | GPT-6 Astra | 4 | 2.5 | 1,697 | 查看 | 观看 | 下载 | ||
| 方块放入碗中 | GPT-6 Astra | 4 | 2.8 | 2,434 | 查看 | 观看 | 下载 | ||
| 方块放入碗中 | GPT-6 Astra | 4 | 2.9 | 2,966 | 查看 | 观看 | 下载 | ||
| 方块放入碗中 | GPT-6 Astra | 4 | 3.2 | 1,627 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | GPT-6 Astra | 4 | 3.3 | 2,768 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | GPT-6 Astra | 4 | 3.3 | 2,777 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | GPT-6 Astra | 4 | 3.4 | 2,185 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | GPT-6 Astra | 4 | 3.5 | 1,979 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | GPT-6 Astra | 3 | 3.5 | 2,428 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5 | 4 | 5.2 | 13,120 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5 | 3 | 7.1 | 14,048 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5 | 2 | 5.0 | 10,663 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5 | 2 | 8.7 | 17,859 | 查看 | ||||
| 将积木放入碗中 | Fable 5 | 2 | 9.1 | 15,064 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5 | 1 | 4.7 | 9,096 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5 | 1 | 5.8 | 13,800 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5 | 1 | 5.8 | 9,954 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5 | 1 | 7.1 | 16,666 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5 | 1 | 7.2 | 18,165 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5 | 1 | 7.2 | 14,719 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5 | 1 | 8.4 | 24,975 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5 | 1 | 8.7 | 17,436 | 查看 | 观看 | 下载 | 下载 | |
| 把方块放进碗里 | Fable 5 | 1 | 8.8 | 21,388 | 查看 | 观看 | 下载 | ||
| 把方块放进碗里 | Fable 5 | 1 | 9.6 | 30,566 | 查看 | 观看 | 下载 | ||
| 把方块放进碗里 | Fable 5 | 1 | 10.8 | 28,784 | 查看 | 观看 | 下载 | ||
| 把方块放进碗里 | Fable 5 | 1 | 11.7 | 27,810 | 查看 | 观看 | 下载 | ||
| 把方块放进碗里 | Fable 5 | 1 | 14.8 | 35,211 | 查看 | 观看 | 下载 | ||
| 把方块放进碗里 | Fable 5 | 0 | 8.7 | 17,764 | 查看 | 观看 | 下载 | ||
| 把方块放进碗里 | Fable 5 | 0 | 9.7 | 27,582 | 查看 | 观看 | 下载 | ||
| 把方块放进碗里 | Fable 5.1 | 4 | 4.2 | 9,124 | 查看 | 观看 | 下载 | ||
| 把方块放进碗里 | Fable 5.1 | 4 | 4.8 | 9,779 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5.1 | 4 | 5.0 | 11,359 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5.1 | 4 | 5.1 | 8,526 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5.1 | 4 | 5.6 | 10,998 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5.1 | 4 | 6.5 | 7,031 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5.1 | 4 | 6.7 | 15,901 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5.1 | 4 | 7.5 | 8,964 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5.1 | 3 | 5.7 | 14,477 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5.1 | 3 | 8.6 | 20,110 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5.1 | 2 | 7.3 | 20,022 | 查看 | 观看 | 下载 | ||
| 将积木放入碗中 | Fable 5.1 | 2 | |||||||
| 积木入碗 | Fable 5.1 | 1 | 5.7 | 13,265 | 查看 | 观看 | 下载 | ||
| 积木入碗 | Fable 5.1 | 1 | 5.9 | 18,073 | 查看 | 观看 | 下载 | ||
| 积木入碗 | Fable 5.1 | 1 | 6.0 | 13,070 | 查看 | 观看 | 下载 | ||
| 积木入碗 | Fable 5.1 | 1 | 6.6 | 11,506 | 查看 | 观看 | 下载 | ||
| 积木入碗 | Fable 5.1 | 1 | 7.1 | 11,404 | 查看 | 观看 | 下载 | ||
| 积木入碗 | Fable 5.1 | 1 | 8.5 | 17,760 | 查看 | 观看 | 下载 | ||
| 积木入碗 | Fable 5.1 | 0 | 4.5 | 8,979 | 查看 | 观看 | 下载 | ||
| 积木入碗 | Fable 5.1 | 0 | 5.2 | 13,394 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | GPT-6 Astra | 4 | 2.8 | 2,229 | 查看 | 观看 | 下载 | 查看 | 观看 | 下载 |
| 拼图嵌入凹槽 | GPT-6 Astra | 4 | 3.3 | 1,967 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | GPT-6 Astra | 3 | 2.3 | 2,581 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | GPT-6 Astra | 3 | 2.6 | 2,805 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | GPT-6 Astra | 3 | 2.6 | 2,470 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | GPT-6 Astra | 3 | 2.9 | 2,978 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | GPT-6 Astra | 3 | 3.0 | 2,937 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | GPT-6 Astra | 3 | 3.1 | 2,932 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | GPT-6 Astra | 3 | 3.6 | 2,538 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | GPT-6 Astra | 3 | 3.6 | 3,417 | |||||
| 查看 | 观看 | 下载 | |||||||
| 将拼块嵌入凹槽 | GPT-6 Astra | 2 | 3.9 | 3,142 | 查看 | 观看 | 下载 | ||
| 将拼块嵌入凹槽 | GPT-6 Astra | 1 | 2.2 | 2,458 | 查看 | 观看 | 下载 | ||
| 将拼块嵌入凹槽 | GPT-6 Astra | 1 | 2.8 | 2,464 | 查看 | 观看 | 下载 | ||
| 将拼块嵌入凹槽 | GPT-6 Astra | 1 | 3.0 | 2,117 | 查看 | 观看 | 下载 | ||
| 将拼块嵌入凹槽 | GPT-6 Astra | 1 | 3.1 | 2,901 | 查看 | 观看 | 下载 | ||
| 将拼块嵌入凹槽 | GPT-6 Astra | 1 | 3.9 | 3,041 | 查看 | 观看 | 下载 | ||
| 将拼块嵌入凹槽 | GPT-6 Astra | 1 | 10.2 | 2,491 | 查看 | 观看 | 下载 | ||
| 将拼块嵌入凹槽 | GPT-6 Astra | 0 | 2.6 | 3,025 | 查看 | 观看 | 下载 | ||
| 将拼块嵌入凹槽 | GPT-6 Astra | 0 | 2.8 | 2,916 | |||||
| 查看 | 播放 | 下载 | |||||||
| 拼图嵌入凹槽 | GPT-6 Astra | 0 | 3.3 | 3,161 | 查看 | 播放 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5 | 3 | 5.4 | 12,599 | 查看 | 播放 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5 | 3 | 6.6 | 11,044 | 查看 | 播放 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5 | 3 | 6.7 | 11,726 | 查看 | 播放 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5 | 3 | 6.8 | 10,743 | 查看 | 播放 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5 | 3 | 8.8 | 14,855 | 查看 | 播放 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5 | 2 | 7.0 | 19,149 | 查看 | 播放 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5 | 2 | 9.1 | 22,592 | 查看 | 播放 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5 | 1 | 4.5 | 9,620 | 查看 | 观看 | 下载 | ||
| 拼图放入凹槽 | Fable 5 | 1 | 4.7 | 9,942 | 查看 | 观看 | 下载 | ||
| 拼图放入凹槽 | Fable 5 | 1 | 5.3 | 13,629 | 查看 | 观看 | 下载 | ||
| 拼图放入凹槽 | Fable 5 | 1 | 5.8 | 16,029 | 查看 | 观看 | 下载 | ||
| 拼图放入凹槽 | Fable 5 | 1 | 6.6 | 16,460 | 查看 | 观看 | 下载 | ||
| 拼图放入凹槽 | Fable 5 | 1 | 7.3 | 10,544 | 查看 | 观看 | 下载 | ||
| 拼图放入凹槽 | Fable 5 | 1 | 8.3 | 25,603 | 查看 | 观看 | 下载 | ||
| 拼图放入凹槽 | Fable 5 | 1 | 8.3 | 23,105 | 查看 | 观看 | 下载 | ||
| 拼图放入凹槽 | Fable 5 | 1 | 9.1 | 20,718 | 查看 | 观看 | 下载 | ||
| 拼图放入凹槽 | Fable 5 | 1 | 15.1 | 29,746 | |||||
| 查看 | 播放 | 下载 | |||||||
| 拼图入槽 | Fable 5 | 1 | 17.2 | 11,577 | 查看 | 播放 | 下载 | ||
| 拼图入槽 | Fable 5 | 0 | 6.2 | 18,229 | 查看 | 播放 | 下载 | ||
| 拼图入槽 | Fable 5 | 0 | 10.0 | 18,386 | 查看 | 播放 | 下载 | ||
| 拼图入槽 | Fable 5.1 | 4 | 5.2 | 10,618 | 查看 | 播放 | 下载 | ||
| 拼图入槽 | Fable 5.1 | 4 | 7.6 | 10,306 | 查看 | 播放 | 下载 | ||
| 拼图入槽 | Fable 5.1 | 3 | 4.1 | 9,993 | 查看 | 播放 | 下载 | ||
| 拼图入槽 | Fable 5.1 | 3 | 5.0 | 11,549 | 查看 | 播放 | 下载 | ||
| 拼图入槽 | Fable 5.1 | 3 | 5.4 | 10,450 | 查看 | 播放 | 下载 | ||
| 拼图入槽 | Fable 5.1 | 3 | 6.0 | 10,417 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5.1 | 3 | 6.5 | 10,725 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5.1 | 3 | 7.1 | 10,312 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5.1 | 3 | 7.2 | 11,048 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5.1 | 3 | 7.4 | 11,978 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5.1 | 3 | 7.5 | 12,251 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5.1 | 2 | 3.7 | 9,362 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5.1 | 2 | 4.5 | 8,946 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5.1 | 2 | 4.9 | 9,432 | 查看 | 观看 | 下载 | ||
| 拼图嵌入凹槽 | Fable 5.1 | 2 | 6.6 | 12,046 | 查看 | 观看 | 下载 | ||
| 拼图放入凹槽 | Fable 5.1 | 1 | 3.9 | 9,341 | 查看 | 观看 | 下载 | ||
| 拼图放入凹槽 | Fable 5.1 | 1 | 4.3 | 9,597 | 查看 | 观看 | 下载 | ||
| 拼图放入凹槽 | Fable 5.1 | 1 | 5.5 | 12,735 | 查看 | 观看 | 下载 | ||
| 拼图放入凹槽 | Fable 5.1 | 1 | 10.0 | 9,111 | 查看 | 观看 | 下载 | ||
| 拼图放入凹槽 | Fable 5.1 | 0 | 6.5 | 10,359 | 查看 | 观看 | 下载 |
技术规格
| 本体 | 双臂 I2RT YAM 机械臂，每臂 6 自由度，配平行夹爪 |
| 控制方式 | 末端执行器绝对位姿（move_to）：每臂可控制 x、y、z、yaw、pitch、roll 和夹爪。机器人通过 IK 将位姿转换为关节角度。 |
| 观测 | 每回合提供三个相机视角（顶部、左腕、右腕）加本体感知状态 |
| 策略 | agent 策略，中等思考强度，20 次 LLM 调用预算，速度上限 25%，默认安全护栏开启 |
| 模型 | gpt-6-astra、claude-fable-5 和 claude-fable-5-1 |
| 测试框架 | Inspect Robots 0.58.0 |
| 试验 | 每个模型每个任务20次；拼图在 rig-4 上对所有模型测试，碗在 rig-3 上对 Fable 模型测试，在 rig-1 上对 Astra 测试 |
| Token 数量 | Wire-level 请求和响应 token，非计费 token；按标价计算，三种模型均为 100 万美元输入 / 50 万美元输出 |
局限性
- Astra 的测试在 Fable 测试结束两天后运行，两者未交错进行。拼图的对比在相同 rig 上进行；碗的对比则否：Fable 的碗测试在 rig-3 上进行，而该 rig 当时不可用。
- 评分由操作员根据已知模型进行主观判断，因此分数可能存在无意识偏见。
- 费用按标价计算。Anthropic 的请求未使用 prompt caching；OpenAI 自动缓存了约五分之一的 Astra 输入，但此处并未予以折扣，因此 Astra 的费用若有什么影响，反而是被高估的。
- 物体在测试间由人工重置，且所有模型仅以中等推理强度运行。
原始来源： Hacker News