← 文章 / 行业与公司动态
nx 2026/10/23 · 2026-10-23 07:27:13 · 14 阅读

介绍动态任务打包与 Ultracache

Coding agents 产生的变更量,已经超出了 CI 原本的承载能力。Anthropic 每天合并的变更从 5 月的约 2,500 个增长到 9 月的 30,000 多个,半年内测试数量增长了 10 倍,CI 任务增长了 25 倍。在 Linear,测试套件自 1 月以来几乎翻了四倍,每周新增的约 2,000 个测试大多出自 agent 之手。

用更快的机器来解决 CI 太慢的问题,确实有效,也是最省事的办法。但代码库越大,计算开销就越高。

你真正需要的,是基于真实执行数据来调度和缓存任务的 CI:

  • Dynamic task packing - 把任务分配到任意数量的机器上,并让每台机器都跑满。
  • Ultracache - 一个全自动的计算缓存,从实际运行中学习任务的输入和输出。

从今天起,这两项功能对所有用户开放。

VM 分钟数与机器利用率

给 CI 机器选配置时,你希望在保证运行稳定的前提下尽可能提高并行度。每次运行都有峰值,而峰值决定了并行度上限,也决定了机器需要多大。

CI machine utilization over a 10 minute run: two short peaks exceed the provisioned capacity, while average utilization is 20% and most of the paid capacity sits idle

峰值并不是均匀分布的,所以大部分时间机器都处于低利用率状态。换更快的机器能整体缩短 CI 时间,但解决不了利用率问题。结果就是你为一台大部分时间都在闲置的高配机器买单。

这里需要理解的一点是:你付费的不是算力,而是 VM 分钟数。所以目标是把尽可能多的计算塞进你已经在付费的 VM 分钟里。

The same CI work packed onto one right-sized machine: the run finishes in under 4 minutes, 6.2 minutes faster, with average utilization at 52%

要做好这件事,你需要了解每个任务的资源特征及其在 CI 中的表现:占用多少内存、CPU 使用在整个运行过程中如何分布,以及这些表现在不同机器上是否一致。

动态任务打包

大多数任务分发方案会预先把任务分配给机器,通常按类型划分:端到端测试分配给一台机器,单元测试另一台,构建再一台。这种方案是静态的——代码库变化时它不会自适应,也无法应对一个 PR 跑 10 个任务、下一个 PR 跑 200 个任务的情况。

动态任务打包则把整个 CI 运行当作整体来看待:

  1. 收集该次 CI 运行中所有需要执行的任务。
  2. 基于历史运行分析这些任务的资源特征(每个任务需要多少 CPU 和内存)。
  3. 根据任务的匹配程度和每台 worker 当时的可用容量,把它们打包到 CI worker 上。
  4. 按依赖关系确定任务优先级。能解锁其他任务的任务先跑,这样端到端测试所依赖的构建会被尽早调度,e2e 测试也能更早启动。

Dynamic task packing uses the CPU and memory profile learned from previous runs to pack shop:build, cart:test and admin:build onto one worker, finishing in 3.2 minutes instead of 5.1

在一些真实的客户代码库(本身已针对 CI 深度优化过)中开启动态任务打包后,VM 分钟数减少了 35% 到 50%。

想深入了解动态任务打包的工作原理,请阅读文档。

减少工作量

提升利用率的作用有限。想更进一步,就得让 CI 少干活,有两条路可走:

  • Affected(受影响检测)- 不可能被改动影响的任务就不跑。
  • Remote caching(远程缓存)- 依赖没有变化时,任务就不重复跑。

昨天发布的 Nx 24 已将基于任务的 affected 设为默认行为。它会查看任务及其读取的输入和写入的输出,据此判断哪些内容受到了影响。

基于任务的 affected 机制沿着输出和输入的链条追踪:ui 的输出 dist/libs/ui 是 app 和 admin 的输入,app 的输出 dist/apps/app 是 app-e2e 的输入

缓存计算哈希时用的正是同样的信息。如果你改动了共享项目里的一个 spec 文件,只有该项目的测试任务会失效,其余全部命中缓存。

而远程缓存是另一半拼图,我们刚把它做到了更好。

Ultracache

如今大多数缓存都是静态的:要么由工具从项目图谱推导出缓存配置,要么由你手动定义并微调每个任务的输入和输出。

这带来两个问题。

  • 缓存命中率很大程度上取决于代码库的结构,以及配置的输入输出与任务实际读取内容之间的吻合程度。
  • 更糟的是,可能出现误报——也就是本不该命中却命中了的缓存。

Ultracache 是一个全自动、确定性的计算缓存。它从实际运行中学习缓存配置,不仅带来更高的命中率,还从设计上保证了正确性。

Ultracache 在 CI worker 上监控 cart:build 进程,并记录它实际读取了哪些工作区文件:读取了 shell.tsx、购物车页面和表格、currency.ts,而 checkout 和 search 相关文件未被读取

Ultracache 会在任务执行时监控它读写了哪些内容,把这些输入输出记录下来,并与之前运行中积累的信息合并。你的缓存配置会随着每次运行不断优化,无需任何手动微调。

Ultracache 在 Nx Cloud 中记录了每个 e2e spec 任务的输入。src/features/cart 的变更只会触发 cart.spec.ts 重跑,其余五个 spec 全部命中缓存

如今 AI agent 会写大量测试,尤其是端到端测试,这让这件事变得更加重要。Nx Cloud 已经能把一个大型端到端测试 target 拆分成按 spec 文件为单位的独立任务。Dynamic task packing 会把这些任务分配到各个 CI worker 上,保证高利用率;Ultracache 则会逐一缓存每个任务的结果——这样一旦有变更,只有依赖它的 spec 文件会重新运行,其余全部命中缓存。

结合基于任务的 affected、dynamic task packing 和 Ultracache,我们那个包含 511 个项目的 monorepo 基准测试中,CI 提速 9.2 倍,算力消耗降低 52%。

由于 Ultracache 依赖真实的执行数据,它与代码的组织方式无关。如果你的仓库里只有一个大型应用,项目级缓存帮不上什么忙,因为任何变更都会让整个项目的缓存失效。我们在一个约 30 万行代码的 React 单体应用上跑了同样的配置,结果 CI 提速 11.7 倍,算力消耗降低 78%。

新建的 workspace 默认启用 Ultracache。已有 workspace 可以在 workspace 设置中开启,详情请阅读文档。

面向 AI Agent 的真正智能 CI

Dynamic task packing 和 Ultracache 都建立在同一个理念之上:由真实执行数据驱动的 CI。Packing 让同样的算力跑在更少的 VM 分钟里,Ultracache 则从设计上让缓存更精准、更可靠。最终效果是 CI 更快,而你的算力账单不会膨胀。

这两项功能现已在 Nx Cloud 上线。

了解更多

原始来源: nx

评论 (0)