调查显示近九成软件团队上线过未经完全理解的 AI 生成代码
最新研究显示,生成式 AI 编程工具已被软件开发团队全面接纳,以至于 81% 的团队承认合并过自己并未完全理解的 AI 生成代码。
TestMu AI 发布的《2026 质量工程 AI 现状报告》还发现,各团队在审查 AI 代码上的做法不一,而且很少有团队为线上项目中出现的 AI 生成错误制定应急响应流程。
这些结果引发了对开发团队如何使用 AI、以及采取了哪些步骤来验证输出的疑问。有些团队采用人工审查,有些则依赖另一个 LLM 来审查和评判代码。然而,这反而似乎提高了“无人能看懂的代码”被发布上线的概率。
Latest Videos FromTechRadar在此观看完整视频:LLM-as-a-judge
报告揭示了一个“验证鸿沟”的概念,这是依赖 AI 生成代码的团队面临的一大挑战。只有 41% 的团队会在合并 AI 编写的代码前对其进行自动化检查,而合并的对象往往是线上代码。这个鸿沟正是问题的开端——代码量实在太大,根本无法高效检查。
55% 的开发团队使用人工审查,或者交由专门的 QA 团队处理(51%),可见部分团队确实已经落实了重要措施。
让另一个 LLM 给生成的代码打分,听起来似乎是聪明的做法。就修复问题而言,可能确实如此。但这一策略的结果是,采用 LLM-as-a-judge 的团队发布自己不理解代码的比例更高——达到 29%,而不使用 AI 评分的团队只有 15%。
验证你的输出
TestMu AI 联合创始人兼 CEO Asad Khan 指出,问题的关键在于:对 AI 生成代码的验证速度跟不上产出的规模。
“如今的软件团队依靠 AI 来写代码、生成测试,而且越来越多地由 AI 来判断两者是否可以发布,”他说。
“但验证并没有跟上这一转变。我们认为,AI 产生的任何输出,都应该由独立于生成它的模型的系统来验证——在合并前验证,且每次变更时都要验证。”看来,已经建立相应流程的开发团队表现更好。
Khan 补充道:“我们调查中那些已经践行这一规范的团队,进入生产环境的缺陷明显更少。我们预计,对于用 AI 进行开发交付的工程组织来说,这将成为标准做法。”