AI 与软件工程现状:代码成本更低,但专业知识更具价值 [完整书籍]
本报告聚焦 AI 生产力、人类能力、软件经济学、SaaS 护城河以及工程工作的未来。
2024 到 2026 年间,生产一行可运行代码的边际成本下降速度,超过了该领域历史上的任何时期。
大语言模型及基于其构建的编码代理,如今能以五年前难以想象的速度,生成原型、界面、测试、脚本、文档、数据库架构、迁移脚本和集成模块。
旁观者目睹一个能力尚可的代理在一下午内产出功能完整的应用,或许会断定软件工程已被“解决”,甚至已陷入同质化竞争,并认为围绕其构建的职业正步入终结性衰退期。
本报告汇总的证据指向了相反的方向。无论是随机对照试验、大规模开发者行为观察研究、自主代理的基准测试、劳动力市场预测、薪资微观数据,还是风险投资数据及公开市场估值,都呈现出一种一致的模式。
人工智能大幅降低了代码生成成本,但决定“构建什么”、判断“输出是否正确”以及对结果“承担责任”所需的人类能力,其价值不仅基本保留,在多个方面甚至有所提升。
一项针对超过十万名开发者的研究发现,提交量增加 180% 仅带来实际软件发布量 30% 的增长,且终端用户采用率并无显著变化(NBER)。
对约四十万个代理会话的分析显示,专家操作模型时的成功率大约是新手操作时的两倍(Anthropic)。
就业预测显示,狭义的“计算机程序员”岗位在未来十年将萎缩 6%,而范围更广的“软件开发人员”岗位将增长近 16%(美国劳工统计局)。
综合来看,这些发现描述的是一种分化,而非崩塌。在职业的底层(把明确的指令翻译成代码语法、组装标准组件、生成常规接口),工作正被快速自动化、压缩和商品化。
而在职业的上层(架构、需求定义、安全、可靠性工程、领域建模、验证、集成与问责),证据表明稀缺性不降反升——因为需要人来判断的生成产物数量增长速度,远超具备判断能力的人才供给。
同样的分化也体现在软件行业的经济数据中:上市 SaaS 公司的营收倍数中位数一年内从 6.7 跌到 3.6,与此同时,收购方却愿意为深耕真正复杂业务场景的公司支付平均 6.3 倍营收的溢价(Software Equity Group)。
当企业一旦有了工具、可以按相反结论行动时,分化再次显现:在 AI 热度最高的那一年,企业明明拥有行业史上最强的内部代码生成能力,76% 的企业级 AI 解决方案却选择购买而非自建(Menlo Ventures)。
本报告分五个部分阐述这一论点。
第一部分考察生产力证据的实际情况:AI 在边界清晰的任务上带来可观收益,但在复杂任务上同样可能造成可观的损失。这部分还会对代码生成进行定价,而不是默认它免费;回应"AI 能自行自动化其验证瓶颈"这一反对意见;并剖析廉价代码生成所带来的安全风险面。
第二部分考察人的能力如何成为 AI 辅助工程的关键瓶颈:培养这种能力需要多长时间;在受监管的行业中,持证人员的签字为何不仅重要、更是法律的硬性要求;以及那类缺陷代价远高于建设成本(高出几个数量级)的系统。
第三部分审视劳动力市场,探讨招聘向高级别集中的现象及其对未来专业知识供给造成的结构性风险,并进一步追问:当 AI 缩小的了它所曾认证的性能差距后,大学学位还能保护什么?开放学习又为那些从未入学的工程师带来了什么可能?
第四部分探讨代码廉价后软件企业的经济学特征,包括竞争优势如何从代码库向周边系统迁移,并在剔除重硬件类别、并处理人工智能与软件分类间的严重重叠后,考察投资资本在软件领域内的实际流向。
第五部分将上述分析转化为针对工程组织、创始人(关于何时从原型走向公司)、个体从业者及资本配置者的实践指南,并明确列出本报告核心论点会被证伪的条件。
内容概览:
本报告阅读指南
本文中的每一项量化论述均标注了来源,并在使用处直接提供链接。附录 A 完整收录了所有统计数据,并按主题分组,以便希望直接核实证据基础的读者无需通读全文论证也能查阅。
附录 B 探讨了这些证据的质量与局限性,包括由企业赞助的研究、样本量较小的研究、因新工具出现而部分结论已过时的研究,以及那些作者明确警告公众评论对其因果关系解读存在偏差的研究。
请将附录 B 视为论证的组成部分,而非附加的免责声明。因为如果一份主张“判断力比产出更重要”的报告,在展示自身证据时却缺乏判断力,那它的立场将自相矛盾。
本报告还包含代码。这些代码片段仅用于说明,不可直接执行:它们被简化至能体现观点的最小形态,省略了实际版本所需的导入、错误处理和配置,切勿直接复制到系统中。其目的是在本报告核心区别最直观、可见的层面——即工件本身层面——将该区别具体化。
如果你不打算编写软件,可以跳过所有这些片段而不影响对全文逻辑的理解。每个片段前都陈述了其说明的观点,后则附有解读。
本报告特意收录了与核心论点相悖的发现。一项针对 95 名职业开发人员的随机对照试验显示,AI 辅助使任务完成速度提高了 55.8%;另一项针对 202 名资深开发人员的独立研究则发现,可读性、可靠性、可维护性和简洁性均有可衡量的提升(Microsoft;The GitHub Blog)。
这些都是设计严谨的实验得出的真实结果,任何对当下形势的论述若对这些结果避而不谈,那就不是分析,而是宣传。
本文要论证的并不是 AI 没有价值——那显然不成立。而是说,AI 带来的价值取决于任务、组织和操作者,而当下的主流话语基本没有把这些因素纳入定价。
第一部分:代码变得廉价
1. 那个诱人却不完整的想法
如今有一种广为流行、且日益笃定的看法:软件工程已经变简单了。这个论点直截了当,而且还有一点是真的这个额外优势。
既然 AI 现在能写代码,那么一支小团队,无论身处世界何地,只要有几块 GPU、能访问前沿模型、再加上足够的野心,几个星期就能做出过去需要一个经验丰富的工程团队花一年时间、投入大量资金才能完成的东西。
按这种说法,曾经保护着老牌软件公司的壁垒,从来都不是技术,而不过是劳动的堆积——如今机器可以用极低的成本完成这些劳动。去掉劳动力成本,壁垒也就随之消失。
这个想法之所以诱人,是因为它包含真实洞见,也因为它迎合了许多人心中的野心——只是过去很少有人有机会付诸行动。但它并不完整,而对于那些正在配置资本、规划职业、设计组织或决定做什么产品的人来说,这种不完整至关重要。
AI 确实彻底改变了软件工程。它能以惊人的速度产出原型、界面、测试、脚本、文档、数据库 schema 和集成方案。它能帮人学习陌生的技术、探索原本不会想到的方法,并把那些既必要又枯燥的工作自动化。
本报告并不否认这些,而且其中相当一部分内容正是用来量化这些收益在其适用的任务上到底有多大。
但让简单的事情变得更简单,并不等于让困难的工程问题就此消失,而把两者混为一谈,正是当前讨论中最核心的错误。
这一区别可以精确表述:AI 降低了代码生产成本低,但并未消除构建可靠系统的难度,也并未削弱人类评判这些系统所需的能力。看似能运行的软件,未必可靠;这两者之间的落差,恰恰是工程经济价值长期存在的核心所在。
一个生成的应用可能在受控演示中完美运行,却在并发负载、恶意输入、部分故障、模式迁移、异常数据、需求变更、合规审查、对抗性攻击,或由未参与编写且难以阅读代码的人员持续开发六个月后失效。
AI 压缩的是从想法到演示的距离,这种压缩是真实、巨大且影响深远的。但它并未以同等程度压缩从演示到可靠企业级应用之间的距离。
本报告余下部分将探讨如何衡量这第二段距离,剖析其为何难以自动化,并推导其对处于该距离两侧的个体与企业的启示。
2. 软件工程实际上由什么构成
软件工程的核心从未主要在于产出语法,尽管语法的高可见度常让局外人误以为如此。代码只是工程流程的一项产出,在成熟的组织中,它往往并非成本最高的一环。
实际工作还包含:
发现需求是什么(这通常比满足需求更难)
选择一种能随需求变化而保持可行的架构
设计故障边界,防止单一组件故障在整个系统中传播
保护那些一旦丢失或泄露将造成灾难性后果的数据
管控那些维护者互不相识的依赖项
测试那些尚无人设想的异常状况
与那些基于不同假设、且原构建者已离职的系统进行集成
监控生产环境的行为,因为它与所有测试环境都存在差异
管理那些一旦执行就无法回滚的数据迁移
协调那些利益目标未能完美对齐的团队
以及在构建初期的热情消退后,维持产品长达数年的运营
一个模型可以在几分钟内生成数千行看似合理的代码,而且这种合理性并非流于表面。这些代码通常能够编译通过,通过给定的测试用例,并在任何人想到要测试的输入下表现正确。
模型自动不了解的是,对于组织而言,哪条业务需求真正重要,而不仅仅是哪条在提示词中表述得最清晰。
它也不知道组织愿意接受哪些取舍,又会在六个月后不惜代价撤销哪些决定。它完全不知道哪个遗留系统因为正在处理支付结算而不能中断,哪条法规义务适用于哪个司法管辖区,监管机构会要求提供什么证据。它也没法预见哪个依赖项会在其唯一的维护者放弃维护时变成安全隐患,哪个架构决策会在两年后、流量增长两个数量级时成为瓶颈,哪个看似微不足道的小功能会在规模化后成为产品的核心支柱,因为某类从未被建模的客户会在其上构建其运营业务。
这几段话之间的差距,通过一个具体的例子比通过逻辑论证更容易看清。以商业软件中最普通的需求为例,按照产品经理的表述方式:让用户将资金从一个账户转到另一个账户。一个有能力模型会在几秒内给出答案,而且答案并不差。
# 对“让用户在账户间转账”这一需求的生成回答。
# 它能编译,能通过给定的测试,但它是错的。
def transfer(session, from_id, to_id, amount):
source = session.query(Account).get(from_id)
target = session.query(Account).get(to_id)
if source.balance < amount:
raise InsufficientFunds()
source.balance -= amount
target.balance += amount
session.commit()
return {"status": "ok"}
这段函数代码没有任何无能之处。它正确地表达了业务规则,检查了任何人都会想到的那个前置条件,并且在每一次演示中都能完美运行。
但它至少存在六个缺陷,而且这些缺陷不会在演示中暴露,只会在生产环境中出现。
两个并发转账从同一账户读取到相同余额,都成功了,结果账户被透支。
客户端超时后重试,账户被扣款两次,因为系统没有任何机制记录第一次请求已经执行过。
负数金额会把转账方向反转,而且被系统接受了。
不同币种账户之间的转账只搬动数字,不做汇率换算。
同一对账户之间同时发生方向相反的两笔转账,以相反的顺序锁定数据行,导致死锁。
而且没有任何操作记录,意味着上述五个问题一旦发生,根本无法查清系统到底做了什么。
# The engineered answer. The business rule is unchanged. Everything added
# exists because of a specific way the version above fails in production.
def transfer(session, from_id, to_id, amount, idempotency_key):
if amount <= 0:
raise InvalidAmount(amount)
prior = session.query(Transfer).filter_by(key=idempotency_key).one_or_none()
if prior is not None:
return prior.result # a retry of a request already applied
first, second = sorted((from_id, to_id)) # fixed lock order, no deadlock
with session.begin(isolation_level="SERIALIZABLE"):
a = session.query(Account).with_for_update().get(first)
b = session.query(Account).with_for_update().get(second)
source, target = (a, b) if a.id == from_id else (b, a)
if source.currency != target.currency:
raise CurrencyMismatch(source.currency, target.currency)
if source.balance < amount:
raise InsufficientFunds(from_id, amount, source.balance)
source.balance -= amount
target.balance += amount
session.add(Transfer(key=idempotency_key, src=from_id, dst=to_id,
amount=amount, at=utcnow()))
return {"status": "ok"}
第二个版本并不比第一个更难生成,这一点恰恰是关键,而非反驳理由。任何够格的模型,只要请求里说清楚,都能产出接近的成品:序列化事务,锁定固定顺序,强制使用幂等键,拒绝非正数金额,校验币种,并写入审计记录。
稀缺的并非写下这些代码的能力,而是知道每一条都必须存在——这种知识来自亲眼见过第一个版本失败,写提示词的人要么有,要么没有。
代码变便宜了,但清单没有。完整版本包含了异常继承体系、重试封装、复式记账法,以及九项用于与第一版划清界限的测试,全文见附录 D.1。它约三百行,而表达需求的原始描述只有十行。
这就是“产出更多代码”未能转化为“产出更多价值”的机制,且该机制直白无争议:代码是生产过程中的中间品,而生产线的其他要素才是稀缺的。当另一种要素成为瓶颈时,增加中间品的供给并不会提升总产出。
本节的其余部分将审视证据,以证明上述情况正是已经发生的现实。
3. 生产漏斗:当十万名开发者获得 Agent 时
关于此问题最直接的规模化证据,来自美国国家经济研究局(NBER)2026 年发表的一项研究。该研究考察了超过十万名 GitHub 开发者,追踪了 AI 编程工具不同世代的演变。
研究设计利用了这些工具分批落地的特点:先是自动补全,接着是能进行对话循环的交互式编码 Agent,最后是能在有限监督下执行多步骤任务的自主 Agent。这使研究者得以观察随着能力增强,开发者行为如何变化。
对代码产出的影响明确且巨大。自动补全使编码活动增加约 40%;交互式编码 Agent 增加约 140%;自主 Agent 增加约 180%。
这不是边际改进:在 10 万开发者群体中,提交量接近三倍增长,代表了软件行业史上最大规模的生产力变革之一。任何怀疑 AI 对编程机制有实际影响的人,都应在继续阅读前好好体会一下这个数字。
在超过 100,000 名开发者中,自动补全功能将编码活动提高了约 40 percent,交互式编码智能体提高了约 140 percent,自主智能体提高了约 180 percent。(美国国家经济研究局)
接下来发生的情况才是关键发现。提交量增加 180 percent,只转化为项目数量增加约 50 percent,以及实际发布版本增加约 30 percent。在四个主要应用市场中,研究人员观察到新发布应用程序数量有所增加,但总使用量并没有相应增长。
换句话说,漏斗在生成后的每个阶段都急剧收窄,当额外产出到达真正产生经济价值的环节(即客户使用软件)时,测量到的效应已完全消失。
这里的算术关系值得明确说明,因为容易在百分比中迷失。如果提交量增加 180 percent,而发布量仅增加 30 percent,那么提交与发布的比率大约增加了 2 又 1/6 倍:每次发布现在消耗的生成代码比之前多得多。
# 用算术而非百分比表示 NBER 漏斗,每个阶段
# 都以各自的 pre-agent 基准 1.00 为指数。
stage_multiple = {
"commits": 2.80, # +180 percent
"projects": 1.50, # +50 percent
"releases": 1.30, # +30 percent
"usage": 1.00, # no measured change
}
previous = 1.00
for stage, multiple in stage_multiple.items():
print(f"{stage:>9} {multiple:.2f}x "
f"passed through: {multiple / previous:.0%}")
previous = multiple
# commits 2.80x passed through: 280%
# projects 1.50x passed through: 54%
# releases 1.30x passed through: 87%
# usage 1.00x passed through: 77%
#
# 相对基准,每发布一个版本所消耗的生成产物:
# 2.80 / 1.30 = 2.15x
右边那一列才是论证的关键。每个数字都是前一阶段的增量有多少传导到了下一阶段,而转化率最低的正是生成之后的第一次跃迁。这就是漏斗的瓶颈所在——那些没有被工具放大的要素(评审能力、需求清晰度、集成工作量,以及真正理解这套系统的人的注意力)正是在这里形成了制约。
不过在这个比例具备任何论证分量之前,必须先回答一个测量问题,而本报告无法完全回答它。commit 衡量的是开发者的行为,而不是代码本身,而研究对象——那些工具——恰恰直接改变了行为:一个 agent 分步完成任务时,每一步都会产生一个 commit,而人工做同样的任务,可能只在最后提交一次。
因此,那 180% 的增量中,有一部分无法挽回地只是测量工具造成的假象,而非实际产出发生了变化。这一部分占多大比例,决定了衰减中有多少是真实的。
如果有研究报告了变更行数,或者工具采用前后 commit 规模的分布,这个问题就能解决。在此之前,比较可靠的结论是:漏斗的方向已经确凿无疑(生成产物与已发布版本的比例确实上升了,而且升幅可观),但那个二又六分之一倍的具体数字,只能当作真实衰减的上限来看待,而不能当作测量结果。
漏斗的最后阶段需要单独解释,把它和其他阶段混为一谈,是本报告无意犯下的错误。
新应用不断涌入市场,但总使用量并未随之增长,这本身并不能说明任何关于工程产能的问题。市场总使用量的上限取决于用户数量,以及他们拥有的注意力和预算,这是一种需求侧的限制。无论工程判断力多强、审查容量多大,或者架构纪律多严,都无法消除这种限制。
往市场需求受限的情况下,供给增加并不会带来整体消费量的提升,这几乎是定义上的事实。因此,使用量的发现确实揭示了一个真实且重要的事实:软件采用的关键限制从来不是软件供给。但这一发现关注的是客户而非工程师,不应被视为对本报告核心论点的支撑。
真正支撑该论点的,是较早的几个阶段:生成的代码未能转化为完成的项目,而完成的项目又未能转化为发布的产品。
在这些早期阶段,瓶颈出现在生成之后,而非生成过程中。需求仍需向那些尚未完全明确自身意图的人进行澄清;输出结果仍需由能够评估它们的工程师进行审查,而审查产能并未提升 180%。
组件仍需要与拥有自身约束的系统进行集成;产品仍需在无人定义的条件下进行测试;需防范未被建模的恶意攻击者;需部署在行为与预发布环境不同的生产环境中;需由必须理解系统的人员提供支持;最关键且最顽固的是,产品仍需被客户采纳,而客户的注意力、预算、采购流程和转换成本,完全不受软件生产成本降低的影响。
研究还估算出 AI 与人力劳动之间的替代弹性仅为 0.25。这是一个具有朴素含义的技术参数:它表明 AI 与人类工作仍是强互补关系,而非可替代关系,公司无法在保持产出不变的情况下,简单地用一方取代另一方。
这一量级的弹性意味着,在增加 AI 投入的同时减少人力投入,会显著降低产出。这其实是对"两种投入所起作用不同"这一直觉的正式表述。AI 加速了生产流程中的一环,而且加速得非常惊人,但周围的人力体系决定了这些加速能有多少真正传导到愿意为之付费的人手中。
据估算,AI 与人类工程工作之间的替代弹性约为 0.25,表明二者是强互补关系,而非简单的替代关系。(美国国家经济研究局)
这个参数也带来一个义务:本报告必须在第三部分将其解释清楚,而不能悬而不决。因为乍看之下,它预测的结果与劳动力数据恰好相反——如果 AI 与人力是强互补关系,那么让 AI 变得充裕又廉价,理应提高人力的边际产出,进而提升对人力投入的需求。
但第三部分将呈现的却是:初级岗位招聘减少,高级岗位与初级岗位的比例达到十五比一,这看起来更像是替代而非互补的典型特征。
化解矛盾的关键在于:这个弹性是针对整体劳动力的聚合估算,而劳动力在这方面并不同质,它掩盖了两个方向相反的关系——定义初级工作的那些任务是有边界、说明清晰的,AI 最容易替代它们;而定义高级工作的规划、验证和担责,恰恰是与 AI 形成互补的部分。
0.25 的整体弹性,完全可能对应着这样一个行业:一半从业者在被 AI 增强,另一半在被 AI 取代——本报告全篇正是采用这一解读。
综合这些数据可以概括出一条生产漏斗,这也是本报告最重要的量化结论(附带上文的限定条件):生成的代码大幅增加,但最终完成的项目远少于代码量所暗示的水平,而这些项目能走到发布阶段的就更少了。
生成与发布之间的各个环节,才是人类判断力、协调能力和注意力真正受限的地方。而新工具的出现,并没有扩容这些投入。至于发布之后的表现,则由客户需求主导,这属于另一维度的约束,需要单独讨论。
4. 生成的真实成本
在此前的论述中,行业惯例将代码生成视为零成本,本文亦然。
若以人工手写同等代码的薪资为基准,在工具仅能辅助补全的时代,这种假设尚站得住脚。如今,主流模式已演变为 Agent 在数分钟乃至数小时的长任务中处理大规模上下文,两种视角间的鸿沟已大到足以改变结论,而不再只是对结论的修正。
一份宣称代码正在变便宜的报告,理应向读者交代其真实成本。
引起业界广泛关注的一项预测出自 Gartner(2026年6月):到2028年,AI 编码的 token 成本将达到甚至超过软件工程师的平均月薪。
该报告的配套分析明确指出,这并非宿命论的预言,而是对无序消耗的警示。分析师的表述精准地揭示了其中的权衡,值得原样引用:
同一份分析还显示,辅助开发工具对生产力的提升贡献最高达 20%。这是该成本效益比率中的另一侧,也是这项预测至关重要的原因所在。
Gartner 预测,到2028年,AI 编码的 token 成本将追平或超越软件工程师的平均月薪,而此时辅助开发对生产力的提升贡献率最高仅为 20%。(Gartner)
引用该数据时必须附带一项常被忽略的限定条件。预测基于全球平均月薪约 2,000 美元,这并非美国的薪资拐点,也从未被宣称为如此。对该预测的报道指出,在印度,一名拥有四至六年经验的工程师可能已符合这一比较标准,而美国和西欧的普遍薪资水平则使这一交叉点出现在更远的未来(CIO)。
若草率阅读,标题会让人觉得代理(agents)的成本高于工程师;若正确解读,它实际上指出,在全球各地的工程劳动力市场中,工具成本与人力成本的比例差异可达一个数量级。这意味着,AI 辅助开发的经济学特性具有强烈的地域特异性,而现有话语体系尚未完全吸纳这一事实。
已发布的供应商数据显示了当前的成本水平。某款广泛使用的编码代理在企业部署中,每名开发者每活跃天约耗资 13 美元,每月在 150 至 250 美元之间,其中 90% 的用户在任意活跃天的费用低于 30 美元(Anthropic)。
在高度自动化的工作流中,代理持续运行而非按需调用,其报告成本远高于上述区间。相对于全额工程薪酬,这些数字目前还算不上巨大。但“廉价代码”这一短语所暗示的微不足道的舍入误差并非现实,且其变化趋势才是更值得关注的变量。
这一趋势中包含一个应让那些假设“成本问题会自行解决”的人感到不安的发现。2026 年 4 月,该供应商将其自行发布的关于企业开发者支出的估算值提高了一倍以上,给出的理由是更有能力的前沿模型已成为默认选项(Yahoo Finance)。能力增强反而推高了每个开发者的成本,而非降低成本。
这个机制并不神秘,它在计算史上每一次效率提升中都出现过:更强的模型出现后,并不会被用来更便宜地完成昨天的任务,而是被用来挑战以前根本做不了的更难、耗时更长的任务。单个 token 的成本在下降,但每个任务消耗的 token 涨得更快。任何人如果预测模型变强会让智能体开发变得更便宜,都应该先解释清楚为什么上述规律在自己身上不成立。
市场需求侧在整体规模上也印证了这一模式。某大型路由平台的周 token 处理量从 2024 年 12 月的 0.4 万亿增长到 2026 年 3 月的 27.0 万亿,十五个月里增长了约 68 倍。其中软件工程智能体消耗的 token 是单轮推理的一千多倍,输入输出比超过 150 比 1(arXiv)。
输入远大于输出的比例,正是智能体工作的技术特征:模型反复读取大量上下文,只为执行一个小小的动作。这也解释了为什么智能体的成本和最终产出的长度关系如此之小。
某大型路由平台的周 token 处理量从 2024 年 12 月的 0.4 万亿增长到 2026 年 3 月的 27.0 万亿,十五个月约增长 68 倍;软件工程智能体消耗的 token 是单轮推理的一千多倍,输入输出比超过 150 比 1。(arXiv)
不过,这批文献中最有价值的统计数字,既不是某个绝对量,也不是增长率,而是一个比值——它用另一种货币复现了第 3 节的结构。
在一个标准的软件工程基准测试上,一种被广泛研究的智能体配置,每次尝试的成本约为 0.24 美元,而每真正解决一个问题的成本约为 32.50 美元(arXiv)。这两个数字之间相差约 135 倍,原因和提交到发布的差距完全一样:大多数尝试并没有成功转化。
只盯着单次尝试成本的买家,和只盯着提交量的高管一样,看的都是错误的数字。两种情况下正确的做法都是用转化率去除,而不是欣赏那个好看的分子。
# Two ways of pricing the same agent, from the benchmark cost study above.
COST_PER_ATTEMPT = 0.24 # dollars, per instance the agent is given
COST_PER_RESOLVED = 32.50 # dollars, per issue actually resolved
print(f"implied resolution rate: {COST_PER_ATTEMPT / COST_PER_RESOLVED:.1%}")
# implied resolution rate: 0.7%
# The number an engineering leader actually needs is neither of the above,
# because the expensive input is not the model. It is the person who has to
# read what the model produced before it can be merged.
def cost_per_delivered_change(attempts, unit_cost, merge_rate,
review_minutes, reviewer_rate):
machine = attempts * unit_cost
merged = attempts * merge_rate
human = merged * (review_minutes / 60) * reviewer_rate
return (machine + human) / max(merged, 1e-9), machine / (machine + human)
total, model_share = cost_per_delivered_change(
attempts=1_000, unit_cost=0.24, merge_rate=0.30,
review_minutes=25, reviewer_rate=95.0)
print(f"${total:,.2f} per merged change; {model_share:.1%} of it is inference")
# $40.38 per merged change; 2.0% of it is inference
在上述计算中,关键不在于数值的精确度,而在于各项成本的比例。在对 Agent 输出进行严肃评审的组织假设下,一个已交付变更的总成本中,推理费用仅占 2%,而人工评审费用高达 98%。
若某组织将 Token 消耗减半,其工程成本仅降低约 1%;但若能减半合格评审员做出可靠决策所需的时间,成本则可降低近一半。这本质上是工具、架构和测试问题,而非采购问题。
这一发现带来了方法论上的后果,评估文献中已有相关论述:未控制成本的准确率测量不具备决策价值,因为只需允许 Agent 消耗更多资源,就能使其表现看起来更好。
当进行严谨对比时,简单的基线配置在某些编程基准测试中以低得多的成本(约低五十倍)超越了复杂的最新智能体(arXiv)。由此得出的建议——即报告“精度-成本前沿”而非简单的排行榜排名——与本报告在第 44 节中关于交付端所主张的纪律如出一辙,尽管这是研究人员针对不同问题独立得出的结论。
在编程基准测试中,简单基线智能体配置在帕累托前沿上优于复杂的最新智能体,成本约为后者的五十分之一。这表明,若不考虑成本,单纯的准确率数据对决策并无实用价值。(arXiv)
如今还出现了一种以“所替代的人类劳动市场价值”为计量单位的基准测试,这是对本文本节所探讨问题最清晰的界定。该测试包含超过 1,400 项真实的自由职业软件工程任务,涉及 1,000,000 美元的实际奖金支付,任务范围从 50 美元的缺陷修复到 32,000 美元的功能实现不等。模型不再按百分比评分,而是根据其完成工作的美元价值进行评分。截至发布时,前沿模型赚取了总额 1,000,000 美元中约 400,000 美元(arXiv)。
这一结果可以双向解读,这正是它值得引用的原因:一台机器捕获了真实自由职业软件市场 40% 的价值,这是惊人的能力证明;而它也留下了 60% 的价值未被捕获,则衡量了有多少具有商业价值的工程工作仍在其能力范围之外。
一项涵盖超过 1,400 个真实自由职业任务、奖金总额 1,000,000 美元(从 50 美元的缺陷修复到 32,000 美元的功能实现)的基准测试显示,前沿模型仅赚取了总额中稍多于 400,000 美元的部分。(arXiv)
由此可得出两个结论,且第二个比第一个更为重要。
第一个结论涉及术语:本报告将继续声称代码变得更便宜了,因为相对于手工编写代码的工资账单,事实确实如此。
但你应该把这个论断理解为在讨论一个比例,而不是一个趋近于零的绝对值。同时也要明白,即便 token 单价在下降,这个比例对 agentic 类工作负载来说仍在恶化。
其次,这些证据是在加强而不是削弱报告的论点。如果生成真的免费,那么投机式地大量生成、再丢弃失败结果就是理性策略,而"该生成什么"的判断就没那么重要了。
正因为生成有真实且不断上升的边际成本,也因为每交付一个成果的成本比每次尝试的成本高出两个数量级,"决定尝试什么"重新获得了经济分量。
便宜但不免费的生成,让稀缺资源(知道什么值得生成、并能判断结果是否正确)变得更有价值,而不是更没价值。
这里需要提一个警告,本该放在正文而非附录:这个市场的价格波动剧烈、竞争激烈,而且可能被追逐市场份额的资本补贴着。不要把本节的任何内容当成对三年后推理成本的预测。
token 单价的方向是下行,而且降得很快。但每任务成本的方向是上行,因为任务复杂度的增长快过了单价下降的速度。哪个因素在某个具体组织中占主导,取决于该组织的工作负载,是个实证问题。实际建议很简单:工程管理者应该去度量每交付一次变更的实际成本,而不是想当然地认为它微不足道——因为目前大多数人都说不出来。
5. AI 的价值:正面证据究竟说明了什么
如果本报告只靠那些聚合结果令人失望的研究来构建论点,固然省事,但并不诚实。
实验文献中同样有大量增益显著、测量严谨、统计上稳健的发现,这些理应被完整呈现,而不是一笔带过。正是它们定义了 AI 辅助真正能兑现其倡导者承诺的那些条件。
其中最有力的证据来自一项随机对照实验,95名职业开发者参与了这项实验,他们都被要求构建同一个 JavaScript HTTP 服务器。
使用 GitHub Copilot 的开发者平均用时1小时11分钟完成任务,而对照组则花了2小时41分钟。这意味着任务完成速度提升了55.8%,95%的置信区间为21%至89%。完成率也有所提高,实验组有78%的人完成了任务,而对照组只有70%(微软)。
在一项涉及95名职业开发者构建相同 JavaScript HTTP 服务器的随机对照实验中,GitHub Copilot 将任务完成速度提升了55.8%,平均完成时间从2小时41分钟缩短至1小时11分钟,完成率分别为78%和70%。(微软)
在严谨的实验设计下,这是一个显著的效果,不容忽视。然而,任务本身的特征与结果同样具有启示意义:问题边界清晰,规格说明明确,范围固定,代码库是全新的,没有现成架构需要遵循,没有生产系统需要避免不稳定,没有团队约定需要遵守,没有历史决策需要理解,也不存在任何需要长期维护的选择后果。
在生成是主要成本构成的条件下,正是这些特征让 AI 辅助的价值最大化。现有证据表明,在此类条件下,AI 辅助大约能将所需时间缩短一半。
另一项研究关注代码质量而非速度,同样发现了改进。在 202 名拥有至少五年职业经验的开发者中,使用 Copilot 的开发者通过分配任务全部十个单元测试的概率高出 53.2%。他们的代码在可读性上提升了 3.62%,可靠性提升 2.94%,可维护性提升 2.47%,简洁性提升 4.16%,并且在代码评审中获得通过的可能性高出约 5%(The GitHub Blog)。
这些质量指标的提升幅度并不大(只有个位数百分比),但方向一致为正,这与“AI 生成的代码普遍更差”这种最简单化的说法相矛盾。
单元测试的结果幅度要大得多,说明在目标明确、成功标准清晰的问题上,AI 辅助能显著提高得到正确答案的概率。
GitHub 另外报告称,在启用了 Copilot 的文件中,约 46% 的代码由它生成(The GitHub Blog)。这个数字衡量的是渗透率而非价值,需要谨慎解读:一个写了一半字符的工具未必做了一半的工作,因为难度的分布在不同字符之间极不均匀。但它确实表明,这项技术早已越过新鲜事物的阶段,融入了日常工作实践的底层。
Google 的 DORA 研究计划在更大规模上证实了这一采用趋势:约 90% 的技术从业者如今在工作中使用 AI,超过 80% 的人认为 AI 提升了他们的生产力(Dora)。
采用率数据与主观信心数据在证据质量上差异巨大,因此本报告选择分别呈现这两组数据,而非将其合并为一个单一结论。90%的采用率属于行为层面的测量,且结果接近决定性:一款有十分之九的开发者选择持续使用的工具,必然在提供某种他们认为有价值的东西,无论这种工具对产出效率的具体测量结果如何。
80%的信心指标属于自我报告。第7节将通过实验表明,这类自我报告在最有可能做出准确判断的群体中,不仅高估了影响幅度,甚至搞错了影响的方向。
本报告的论证并不依赖于信心指标;此处引用它,是为了描述行业从业者的主观体验,而非证明这些体验是准确的。
综合正面与负面证据得出的结论,并非某一方研究正确而另一方错误,而是指出这两组研究测量的对象本身就不同。
Copilot 实验测量的是有界、短周期、从零开始的新任务,在这些场景中代码生成主导成本。而 NBER 研究测量的是价值流如何在完整的生产系统中随时间推移。这两个结果可以同时成立,且“两者皆真”这一事实本身是目前最重要的结构性发现:AI 能可靠地压缩代码生成环节,而在严肃的工程实践中,生成环节占总成本的比例比外部观察者所认为的要小得多。
因此,正确的结论应当是:生产力增益取决于具体任务,既不能宣称 AI 总是加速开发,也不能宣称它总是阻碍开发,这两种普世性断言都缺乏支撑。
6. 向未来借债:可维护性成本
如果 NBER 研究已经证实,生成代码在抵达用户的过程中会遭遇瓶颈,那么另一组研究则揭示了一个更令人不安的事实:这种加速本身,部分是以所构建资产质量的下降为代价融资的。
卡内基梅隆大学的研究者对比了 806 个采用 Cursor 的开源项目和一个匹配的对照组(未采用 Cursor),追踪了它们在采用前后的表现。最初的效果非常显著,与厂商社区的宣称一致。采用后的第一个月,新增代码行平均增长了 281%,第二个月增长了 48%。(CMU School of Computer Science)
在采用 Cursor 的 806 个开源项目中,第一个月新增代码行平均增长 281%,第二个月增长 48%,但这些项目积累了更多的复杂性和代码质量警告,导致未来的开发速度下降。(CMU School of Computer Science)
从 281% 到 48% 在单月内的大幅衰减本身就很有启发性,可以做出多种解读:可能是开发者探索工具带来的新奇效应,也可能是积压工作的集中清理,或者是真实能力改善后的稳定状态。
这项研究更明确地揭示了后续发生的变化。早期的加速并没有持续,也没有仅仅回落到基线水平。采用项目积累了额外的复杂性和代码质量警告,这种积累导致后续时期的开发速度降低。这些项目并非中性地“借用”了未来的时间,而是背负了一项负债,这笔负债需要用未来的吞吐量来偿还。
这是 AI 辅助开发中已记录的最重要风险,而且从管理角度来看,它在结构上很难被检测到。团队可以通过透支未来的可维护性来提升当日的产出。
这种交易在发生的那一刻是看不见的:借来的产能立刻体现为交付的功能,而债务要到很久之后才会浮现。它分散在四处——层出不穷的回归 bug、脆弱的集成、没人整理过的重复逻辑、越来越长的评审周期(因为评审者得从不熟悉的代码里重新还原意图)、依赖库里没人主动选过的安全漏洞、代码「生成」而非「编写」导致的归属不明,还有那些代价高昂的重写——之所以贵,恰恰是因为当年没有任何人真正理解过原系统。
这种可见性的不对称,正是技术问题演变成组织问题的机制。看着仪表盘的高管看到的是更多的 PR、更多的合并变更、更多的上线功能,这些都真实存在,也都被准确计量。而六个月后维护同一套系统的工程师,看到的是一大片团队里没人能完全解释清楚的代码。
后一种观察在任何仪表盘指标里都体现不出来。两种视角都对,但它们会系统性地产生分歧,而拥有资源分配权的,恰恰是持有短期乐观视角的那个人。
这种负债从工程师的视角同样难以察觉,值得具体说说原因:传统印象里的技术债(一个已知捷径、有意为之、有记录在案)并不是这里积累的东西。积累下来的,是在单个文件层面完全检测不到的。
# billing/checkout.py, 第 1 周生成
def valid_email(s):
return "@" in s and "." in s.split("@")[-1]
# accounts/signup.py, 第 3 周生成,相同需求,新会话
EMAIL_RE = re.compile(r"^[^@\s]+@[^@\s]+\.[a-z]{2,}$", re.I)
def is_email_address(value):
return bool(EMAIL_RE.match(value or ""))
# support/import.py, 第 6 周生成,由另一位工程师完成
def check_email(addr: str) -> bool:
try:
local, domain = addr.rsplit("@", 1)
except ValueError:
return False
return bool(local) and "." in domain and not domain.startswith(".")
单看这三个函数,每一个都站得住脚:它们各自通过了对应生成的测试,都经过审查并获批,且没有静态分析工具会报告其中存在缺陷。
原因很简单:每个函数本身都没有缺陷。问题出在它们之间:这三个函数对“以点结尾的地址是否有效”、“是否接受大写域名”以及“顶级域名的最小长度”这三个问题给出了不同的答案。
一位客户如果在注册时邮箱被接受,却在结账时被拒绝,他遇到的这个 Bug 并不存在于任何一个文件中。在过去,编写第二、第三版本的成本高,工程师通常会寻找已有的实现。现在这个过滤器消失了,而默认情况下没有任何机制来填补这一空缺。
# 以下是用于揭示此类累积问题的度量指标。每一项都应按跨月趋势来解读,
# 而非与阈值比较,因为绝对水平没有信息量,但斜率有。
jscpd src/ --min-tokens 40 --reporters json # 重复代码块
radon cc -s -a src/ # 每个函数的复杂度
git log --since='6 months ago' --numstat \
| awk '/^[0-9]/ { add += $1; del








