← 文章 / AI技术
Hacker News 4天前 · 2026-11-17 23:16:46 · 7 阅读

Claude Code 团队的代码验证思路

在 Claude Code 团队,我们的代码绝大部分(约 90%)都由 Claude 编写,并由 Claude 进行审查。在这种规模下,如何让智能体用证据来验证自己的工作成果,就变得极其重要。

验证循环是你把更多工作交给 Claude 的基础。没有它,你一次只能跑一两个 Claude,因为所有东西都得自己亲自检查。有了它,你就可以并行跑几十甚至上百个。

这是因为给智能体一种验证自己输出的方法,是提升质量的有效手段。在结构化文件生成的内部测试中,用一个独立的评分器按 rubric 检查 Claude 的工作,相比标准的提示循环,任务成功率最高提升了 10 个百分点,而且越难的问题提升越明显。

过去验证成本很高的东西(测试、基准、规格说明、真实的端到端运行),现在让智能体来做已经非常便宜。和代码一样,智能体能快速生成测试、基准和规格说明。而且一旦生成,这些测试和基准就可以像软件一样运行,可以频繁执行而几乎不消耗额外 token。

你还可以用验证结果来改进智能体在该任务上的表现,从而形成闭环。比如,如果某个智能体反复在检查日志中用户数据的测试上失败,你可以创建一个 hook,或者在 CLAUDE.md 中写一条更明确的规则来避免再次出问题。这(大体上)能防止同样的问题再次发生。

那么,既然验证是高速产出高质量代码的关键,该用哪些类型的测试?又该如何在整个流程中应用它们?本文会回答这些问题,并分享 Claude Code 团队的实际做法。

测试并非生而平等:3 种值得投入的测试

无论选择哪种测试类型,都有几个常见的坑要避开。

如果测试不稳定(flaky),智能体就会学会反复重跑测试,而不是修复出错的代码。如果测试很慢,智能体在每批中跑的测试就会变少,问题定位也会变得困难。较重的测试最好放在提交代码变更之前运行。

下面是我认为最值得投入的三种测试。

E2E 测试

若只能聚焦一种测试类型,请首选端到端(E2E)测试。这类测试模拟真实用户操作流,例如将商品加入购物车、完成结算,直至抵达确认页面。

E2E 测试之所以高效,是因为其难以被“蒙混过关”——要么功能完全可用,要么彻底失效。它们具有明确的验收标准,并能具体指出故障所在。

单元测试失败 vs 端到端测试失败。左图:checkout.test.ts 仅显示 “FAIL checkout.test.ts / Error: Timeout after 30s”,说明为“盲目射击。无步骤,无追踪。”右图:checkout.spec.ts 显示步骤追踪(注册、加购、结算失败、未到达确认页),附带 shop.example/checkout 页面截图(显示“支付表单加载失败”及禁用的“下单”按钮),并注明“失败步骤:结算:因支付表单始终未加载,‘下单’按钮保持禁用状态”,说明为“截图、追踪记录及失败步骤描述。”
FIG AA:单元测试可能仅报“错误:30 秒后超时”,而端到端测试则能展示截图并描述具体故障点。

尽管单元测试速度更快且波动性更小,但通过它们并不代表功能完好,仍可能出现破损。这是因为代理(agent)和测试本身都未理解完整任务。

对于 E2E 测试,有效做法是赋予代理(agent)操作和检视真实运行系统的“手眼”能力。你可以借助技能(skill),通过 CDP、模拟器或 API 测试框架等工具启动、驱动并检查应用。

功能地图可作为代理(agent)的指南与评分依据,因为它通常从用户视角列出各项功能,并描述操作路径、键盘快捷键、选择器及预期结果。

属性测试:不可违反的约束

许多测试基于“你认为可能出错”的假设。属性测试则针对人类易遗漏的边界情况,而这正是代理(agent)常常失效的地方。

做法是先写下一个你认为不可能失败的断言,然后用测试库(JS/TS 用 fast-check,Python 用 Hypothesis,Rust 用 proptest 等)生成成千上万的输入,试图推翻它。

几乎每个软件项目里都有很多这样的属性,比如:

  • 往返编码:“把 X 编码后再解码,得到的还是 X。”解析和序列化也适用。
  • 不变量:必须始终成立的条件,比如“账户余额永远不能为负”。
  • 幂等性:同一个操作(迁移、标准化、重试)执行两次的效果和执行一次相同。
  • 等价性:优化后的代码和朴素但正确的代码产出相同的结果。

Property 测试库是让 agent 保持诚实的好办法:它生成的边界情况和编写原代码的 agent 不带同样的偏差。在重写场景中,当规格说明已经和生产行为脱节、不再是可靠的验证依据时,这类测试尤其有用。

差分测试:旧系统就是基准

差分测试特别适合大规模迁移这类功能预期保持不变的场景。做法是用相同的输入分别运行新旧两套系统,对比输出结果。如果结果不一致,就说明有 bug 或破坏性变更需要修复。

差分测试的关键在于使用随机生成的输入或生产流量的抽样。同时还要对空白字符等无关因素做归一化处理,并维护一份“已批准差异”清单,用于处理新环境理应与旧环境不同的情形。

CLAUDE CODE 团队如何看待验证

我们之前写过Anthropic 的代码评审机制,这篇文章想更深入地聊聊我们如何验证自己的工作。

验证意味着真正运行改动

端到端跑一遍应用,比跑测试更重要。你不会在没进模拟器试过的情况下就发布 iOS 改动,Claude 也一样。

Claude 可以像人类或 QA 工程师那样对整个应用进行测试。你可以让它使用 Claude Chrome 扩展来进行 Web 端变更,使用 iOS 或 Android MCP 进行移动端测试,使用 computer use 进行桌面端测试,或者在本地运行服务来处理后端工作。

为了将启动模拟器或运行应用的方式固定下来,请创建一个名为 verify 的 skill。将其放在仓库的 .claude/skills/ 目录下,尽可能靠近相关代码,并根据需要添加多个 skill。Claude 知道在提交变更之前使用 verify skill。

随后,投入精力让 verify skill 变得快速且可靠。让 Claude 对其反复迭代并进行压力测试。这是你的冒烟测试框架,因此必须确保其稳固无误。

当为 Claude 提供端到端冒烟测试变更的方法时,你会获得更好的结果。你会看到它像人类一样更快地迭代并发现真正的错误。这就是 Anthropic 测试几乎所有变更的方式。

测试失败需要人工关注

没有人能阅读每一次变更,因此我们将失败作为确定需要人工介入的一种方式。Claude 会运行检查并尝试修复任何失败的项目。如果某项检查在三轮后仍然失败,Claude 会停止并引入人工介入。

代码所有者编写自己的检查

负责代码的人员编写相应的检查,并不断精化,直到能标记出所有者会关注的问题。当检查引入审查者时,它应说明原因,以便审查者无需自行从 diff 中推断。

可靠性检查由 diff 触发

我们维护一份包含 39 个项目的可靠性检查清单,每个项目都有可从一个 diff 中读取的触发器、一项检查,以及背后的事故或 PR。其中一项是“--resume 加载旧转录”。当会话存储或消息类型发生变化时,我们会询问新字段是否能安全加载,因为旧转录中并不包含该字段。

Claude 阅读 diff 并仅检查触发器匹配的项目——通常是 3 到 10 个——这样就不需要记住过去的故障了。

一位审查者,多轮审查

我们不通过堆叠更多审查者来提升审查质量。在主要审查者之上增加第二位、成本更高的审查者,往往不如优化主要审查者。相反,我们有一个 REVIEW.md 文件,说明审查者在这份代码中应关注什么。

我们还认为,审查和验证的每一轮都应该在前一轮的基础上递进。每轮验证都会利用之前轮次的上下文和历史失败记录,而不是从头重新检查一切。这样成本更低,还能发现更多问题。

变更不能修改针对自己的检查

如果一个变更能够修改判定它的检查,那这个检查就是失效的。Code Review 从 base 分支或默认分支读取 REVIEW.md 文件,绝不读取 pull request 中的修改。Claude Code 团队确保用于把关变更的规则放在变更无法触及的分支上。

Claude Code 团队还要求审查结果对应提交本身。如果审查进行时有人还在推送代码,审查结果就失去了意义。一个过期提交上的通过评审毫无价值。

团队还会优先运行成本低的检查。如果 agent 没在本地测试就推送代码,就等于占用了共享的审查和 CI 资源,而这些 bug 本可以自己发现。在我们团队,Claude 在打开 pull request 之前会先运行测试、构建和 linter。你可以通过一个在 Claude 结束时运行测试的 hook,或者设置测试全部通过的 /goal 来强制执行这一点。

以观察模式启动新的关卡

在我们自己的仓库里,我们会给每个提交打上验证方式的标记。标记甚至包括"none",这样我们就能查询哪些提交未经验证。

我们还创建了一个提交关卡,当会话中未包含 /code-review 或 /verify 时,可以阻止提交。我们为它设置了 off、observe 和 enforce 三种模式。

观察模式会记录本应被阻止的操作,这样我们可以审查是否存在误报,确保没有人受到影响。

强制模式则会直接阻止提交。任何提交都可以在提交信息中说明为何未经验证。如果会话中已有两次提交被阻止,下一次就会被放行,以免 Claude 卡住——毕竟 Claude Code 并不完美。

用真正重要的内容测试你的检查

Claude Code 团队还会定期审查审查者本身。我们跟踪统计有多少已合并的变更被回滚、有多少变更在被合并前被维护者驳回,以及一个按规模匹配、保持干净无回滚的变更子集。

这也可以通过正式评估来实现。在《代码审查》博文中,我们介绍了 Code Review 团队如何基于过往事故和回滚记录建立评估体系。他们针对每个案例将代码仓库还原至审查时的状态,并提供一句简短的答案说明具体的 Bug 所在。只有正确描述该 Bug 的发现才能得分。他们使用已合并且稳定的变更作为对照组,以防止过度标记。其调优集与用于系统评估的固定测试集是分开的。

他们还分别评估了原始发现、验证后以及最终审查的召回率。这让他们能够查看系统是否丢失了原本已经找到的 Bug。任何将所有这些环节视为单一端到端评分的评估方法,都无法捕捉到这一细微差别。

除了有效性,我们在意的是变更的重要性。优秀的审查员通常能发现大多数在技术上正确的错误,但人们更关心某个 Bug 是必须修复、建议修复,还是仅属于吹毛求疵。

Code Review 团队也有类似的考量,他们会将问题标记为重要、吹毛求疵或预先存在。“预先存在”标签意味着审查员不应因代码中早已存在的 Bug 而责怪作者。

最后,Claude Code 团队会将召回率调高,直到进一步提升只会导致对评估集过拟合,而非真正捕获更多 Bug。

将遗漏转化为规则

在 Claude Code 仓库中,我们有两种方法将漏检案例转化为规则。第一种是提取人类代码审查评论和 PR 回滚中的模式,以识别常见问题。这些模式必须在至少两个 PR 中出现,且能从差异中识别出来,才被视为潜在规则。随后,三个 Agent 会尝试反驳这些规则,并由人类在 PR 中进行审查和批准。

第二种方法是重放三个 Bug 查找器,针对与已知事故相关的 PR。如果至少两个查找器发现了该 Bug,则视为可检测的 Bug。如果在小差异中漏掉了该 Bug,则这是一个值得转化为 REVIEW.md 中规则的缺口。

不稳定的测试也采用同样的处理方式。Claude 不能跳过它们,也不能通过添加休眠或重试直到通过来掩盖问题。如果无法找到根本原因,它就会删除该测试并记录原因。

规则也需要定期清理。测试套件、验证步骤和 .md 文件放任不管只会越积越多,所以我们养成了定期整理的习惯。

好的测试,好的结果

我们发现,给 agent 提供一套强反馈回路来验证自己的工作,效果截然不同。要把验证层当作普通系统来对待:让它不受被评估代码的影响,用你真正在意的 bug 来检验它,它漏掉问题时及时记录教训、避免重蹈覆辙,并定期精简这些教训,让它们始终值得执行。

做到这些,你的工作就从逐行审查每个 diff,转变为定义“完成”的标准并审查证据——这也正是你能同时运行多个 Claude 的前提。

原始来源: Hacker News

评论 (0)