新论文：迈向 AI agent 可靠性的科学

假设你听说了一款能提升工作效率的新型 AI agent —— 它能替你下单购物、写代码、发邮件，或者接待客户。你敢信任它吗？它能不能足够可靠地完成任务？毕竟，agent 出错的案例 层出 不穷。

令人意外的是，尽管 AI agent 缺乏可靠性早已是公认的事实，但整个 AI 行业至今仍缺乏衡量可靠性的有效工具，甚至还没有一个对可靠性的良好定义。

Arvind 和 Sayash 长期关注这一问题。去年秋天，博士后研究员 Stephan Rabanser 加入了我们，他的博士论文研究的就是更简单、更传统的 AI 系统中的可靠性问题。我们又招募了几位独立研究者，共同完成了一份我们希望称得上全面的可靠性测量报告。论文草稿题为 Towards a Science of AI Agent Reliability（迈向 AI agent 可靠性的科学）。

我们借鉴了核能、航空安全等多个领域的洞见，将可靠性拆解为 12 个不同维度。我们在两个互补的基准上评测了 14 个模型，结果发现：近两年来能力的飞速进步，只带来了有限的可靠性提升。交互式可视化看板见此处。

虽然我们的发现目前仍处于初步阶段，但我们希望它们能帮助解释行业中许多人感到困惑的原因：AI Agent 在基准测试中表现碾压，但它们带来的经济影响却十分有限。1 为了帮助业界系统性地追踪可靠性，我们计划推出一项 AI Agent「可靠性指数」。我们希望这能激励研究者和从业者投入精力来提升可靠性。

目录

1. 仅有准确度还不够：可靠性的四个维度

2. 能力提升迅速，但可靠性改善有限

3. 我们为什么会判断有误

4. 部署方应当做出哪些改变

5. 研究者和开发者应当做出哪些改变

6. 这些发现对 AI 进步意味着什么