← 文章 / 云原生与基础设施
nx 10天前 · 2026-11-12 02:45:42 · 11 阅读

我们解决 CI 瓶颈的 5 种方法

CI 已经成了瓶颈。这原本只是大型企业 monorepo 才会遇到的问题,如今却影响着所有人。Coding agent 提交代码的频率远超人类(Anthropic 报告称六个月内 CI 任务量增长了 25 倍),而每一次提交都会触发一次完整的 CI 运行。

指望换一家承诺提供更快、更强机器的 CI 服务商来解决这个问题,从长远来看是行不通的。

唯一的出路,是深入理解你的代码库,让 CI 跑得更高效,同时少跑一些不必要的任务。Nx Cloud CI 的做法如下。

关键路径调度

跑 CI 就是在跑一系列任务。有些任务相互独立,比如 lint 或单元测试;有些则构成依赖链:共享包的构建必须先跑,才能构建具体的 UI 或应用,而应用构建完成后才能跑 e2e 测试。

大多数 CI 配置并不关心这些,只是按任务提交的顺序依次执行。而 Nx Cloud CI 清楚地知道接下来要跑哪些任务、它们之间的依赖关系,以及每个任务在历史运行中的耗时。

有了这些信息,它就能以高度优化的方式调度任务。会阻塞后续任务的任务优先执行,耗时较长、难以拆分的长任务也同样优先。剩下较小的独立任务则填满空档,从而提升整体计算资源的利用率。

同样的 13 个任务、3 台机器。优先启动构建链后,总耗时缩短为构建链本身的长度。

动态任务打包

高效的调度算法只是智能 CI 的第一步。接下来的问题是:如何把任务分配到多台机器上,同时优化吞吐量和资源利用率?

为什么高利用率很重要?因为你按 VM 分钟计费,而不是按实际使用的算力计费。不管机器是 CPU 满载运行,还是在等一个慢任务,VM 分钟的单价都一样。

因此,只要能在相同甚至更少的 VM 分钟里塞进更多算力,就能既省钱又让 CI 跑得更快!

Nx Cloud CI 会记录每个任务运行时的 CPU 和内存占用情况。当流水线运行、某台机器有空闲容量时,系统就会把最符合剩余算力预算的任务分配给它。

单个 Worker 上运行四个任务。根据历史运行记录的 CPU 和内存占用情况,决定哪些任务可以并行执行。

只需要单核的 Lint 任务,可以和需要四核的构建任务并排运行。而内存占用高的 e2e 测试套件,则会被单独调度到一台机器上。

在传统的静态 CI 配置中,你需要预先确定并行度,并固定好“哪个任务跑在哪台机器”的映射矩阵。为了保证不超出算力上限,这种配置必须按照最坏情况来做规划,导致日常运行的资源利用率很低。

相比之下,Nx Cloud CI 采用动态任务装箱技术,在运行时根据过往 CI 执行数据自动决策。这使得任务调度更加密集,从而显著提升资源利用率。

泳道的高度代表 CPU 占用。没有装箱时,轻量任务也会独占整个槽位;启用装箱后,同样的任务数量只需 3 台 Worker 即可处理,而非 4 台。

动态 Worker 扩展

装箱技术确保了每台机器的价值得到发挥。接下来的问题是:一次运行需要多少台机器?你的 CI 绝不应该为每个 PR 都跑全部任务,这几乎总是对算力的浪费。如果你使用 基于任务的 affected 检测,不同 PR 需要处理的任务数量差异会非常大。

选中某个改动文件。Nx 检查每个任务的输入依赖,因此修改 spec 文件只会重新运行该模块的测试和 Lint,而修改 ui 模块的源码则会波及所有依赖它的任务。

当 PR 仅涉及少数项目时,可能只需运行寥寥几个任务,一两台机器即可轻松搞定,而在最坏情况下你可能需要 10 台。

Nx Cloud CI 提供了一个功能,可以根据待处理任务的数量动态扩展 Worker。

.nx/workflows/ci.yaml
jobs:
  main:
    workers:
      small: 3
      medium: 6
      large: 8
    steps:
      - run: ...

你为小型、中型和大型变更集分别定义了所需的 Worker 数量。由于 Nx Cloud CI 清楚哪些任务受影响、哪些已有缓存,它可以启动相应规模的 Worker 集群,专门处理需要实际执行的任务。

选择一个变更规模。小型 worker 从流水线开始运行。一旦第一个 Nx 命令上报了工作量,Nx Cloud 就会确定合适的规模,并只添加实际需要的 worker。

Ultracache

到目前为止,我们讲的都是如何更高效地运行 CI。但要让 CI 更快、更省钱,最大的杠杆其实是少跑任务。不需要运行的内容就不该运行。Remote caching 结合基于任务的 affected 分析在其中发挥着关键作用。

要对任务应用缓存,你需要知道该任务的输入和输出。大多数构建工具要么让你手动定义,要么从项目图静态推断。但这并不理想:粒度可能太粗,导致不该失效时缓存却失效了(缓存命中率降低),甚至可能完全推断错误,产生误报。

Nx Cloud CI 使用的是 Ultracache,它不依赖静态配置,而是在任务于 CI 上运行时,记录它实际读写了哪些文件。这些被观测到的读写就成为缓存的输入和输出。

Ultracache 会记录 shop:test 读取的文件,包括其他项目和根配置,并将其存储为输入。如果你改动的文件这个测试从未读取过,就会命中缓存。

使用 Ultracache 的效果:

  • 缓存配置始终正确且保持最新
  • 缓存命中率更高

细粒度 e2e 测试拆分(Atomization)

随着 AI agent 的兴起,e2e 测试变得越来越重要。一方面,它们验证的是真实的用户行为,能很好地反映系统是否仍按预期工作;另一方面,AI agent 也很擅长编写这类测试。

只有一个问题:e2e 测试往往极其缓慢,成为 CI 中的主要瓶颈。

前面提到的技术,比如动态任务打包和 Ultracache,是构建更智能、更快速 CI 的基石。但如果你的 e2e 测试是作为一个单独的大任务运行的,它们就帮不上太多忙了:

  • 动态任务打包无法把它分散到多台机器上,也很难在它周围调度其他任务,导致整体机器利用率大幅下降。
  • 对于简单的 remote caching 来说,要么全命中,要么全不命中。命中缓存算你运气好,没命中就得把整个 e2e 套件重新跑一遍。

Nx Cloud CI 通过细粒度的 e2e 测试拆分解决了这一问题,我们将此称为 Atomization。

Atomization 将大型测试目标拆分为每个测试文件对应一个任务。Playwright、Cypress、Jest、Vitest 和 Gradle 的 Nx 插件可自动完成此操作。一旦拥有细粒度任务,前文提到的机制即可高效调度它们。

若结合 Ultracache,你甚至能获得单 spec 级别的细粒度缓存。只需让 Agent 在 e2e 测试中添加指令即可。

将一个 18 分钟的 e2e 任务 Atomization 为每个 spec 文件对应一个任务。在下一次 PR 中,仅读取被更改文件的任务重新运行,其中只有一个 spec 受影响。其余结果均来自缓存,因此运行所需的工作者更少。

基准测试

我们在 Nx Cloud CI 和带有 Nx 远程缓存的 GitHub Actions 上运行相同的 monorepo 基准测试。后者已经是经过优化的流水线。该基准测试衡量功能变更、大型变更和完全重建,并按典型工作区中各情况发生的频率进行加权。

Nx Cloud CI 与带有 Nx 远程缓存的 GitHub Actions 在包含 511 个项目的 monorepo 上的对比。权重设为 80% 功能变更、17% 大型变更和 3% 完全重建。

与 GitHub Actions 相比,Nx Cloud CI 快了 10.6 倍,且计算资源用量减少了 79%。

客户工作区也展现出类似的节省效果。在 CI 已高度调优的工作区中,仅动态任务打包就将 VM 分钟数削减了 35% 至 50%。

综合应用

这些技术无需更快的机器。关键路径调度、动态任务打包和动态工作者扩展让你的 CI 运行更高效。它们从每个 VM 分钟中挖掘更大价值,并仅启动 PR 所需的机器。Ultracache 和 Atomization 让你运行更少的工作,因为只有变更影响的部分会实际执行。

Nx Cloud CI 目前处于私有 Beta 阶段。申请获取早期访问权限。

了解更多

原始来源: nx

评论 (0)