通往 Agent 级 Git 基础设施的桥梁:架构迁移与优化策略
过去一年,Git 流量呈指数级增长,GitHub 上 99.99999% 的 Git 仓库开始同时存放在两个地方:我们自己的数据中心和 Azure。剩下的仓库是平台上最繁忙的一批,而制约它们的只有一件事:25ms 的往返延迟。
在此前的博客文章中,我们阐述了下一代存储架构背后的两条原则:
- 尽可能减少协调
- 存储与计算解耦
本文将介绍连接新旧架构的过渡方案:我们如何通过改变 quorum 序列化写入的方式,把最繁忙的仓库迁移到 Azure,以及这一步如何为无持久化状态的副本铺路。
我们是如何走到这一步的
迁移的时机和方式由 agentic 转型驱动:流量快速增长,数据中心及周边地理区域的电力容量存在硬性上限,再加上物理供应链的限制。迁移开始时,即使算上所有可行的扩容方案,剩余容量也只够我们安全地完成迁移,但不允许慢条斯理地推进。
虽然我们已经为在云基础设施上扩展 Git 原型验证了新的架构方案,但在这种增长速度下,同时更换存储架构和托管平台风险太大。考虑到我们的规模以及服务对社区的关键性,必须谨慎安排工作顺序:先把数据迁移过去,等数据到位后再演进架构。
Git 操作是 Tier 0 服务:它是 GitHub 的核心功能,GitHub 上几乎所有东西都依赖仓库数据。这意味着数据、服务和每一个依赖项都必须先行迁移。第一份仓库副本于 2025 年 8 月落地 Azure 的 Central US 区域。如今,大多数仓库的五个副本中有两个位于 Azure,Azure 承载了大约一半的 Git 流量。在此期间的大部分时间里,我们的增长都由 Azure 承接,自有数据中心则保持稳定。
迁移期间,流量跟随数据走。大多数仓库配备五个副本,以平衡持久性、可用性与规模。为降低读延迟,Spokes 使用优先级路由,将流量引导至与请求同区域、同可用区的副本。随着副本逐步迁移至 Azure,可由 Azure 服务的流量份额随之增长,直到最后一个副本到位,旧区域便完全停止接收请求。每个仓库都会经历这一过程:
不落下任何一个仓库
那么,剩余 0.00001% 的仓库怎么办?
在现有架构中,托管在多个区域的仓库拥有较低的写入吞吐量上限。Spokes 的法定人数只需多数即可提交写入,但会等待每个健康副本响应(直至超时)后才继续,因此慢副本会拖慢所有写入而非仅仅是自身落后。实际上,最慢的健康副本决定了所有写入的延迟;又因每次写入在提交前持有仓库级锁,它也设定了吞吐量上限。一旦某副本位于目标 Azure 区域,它距我们的数据中心约 1,000 英里,每次网络往返约 25 毫秒,而一次写入需要多次往返。已接近吞吐量上限的仓库无法在每次串行写入中都承受这种延迟;每次推送都会让它进一步落后。
这正是我们第一原则——最小化协调——发挥作用的地方。就这一情形而言:不必串行化的就无需串行化。Git 的一致性要求针对每个引用单独生效。服务器接受对某一引用的更新后,任何客户端之后都不应看到旧值,只能看到该值或更新的值。无论更新是快进、强制推送还是删除,此要求都成立。但在大多数情况下,不同引用的更新互不依赖,可独立应用。
因此,我们将法定人数的范围从整个仓库改为单个引用。
在整个引用更新(含往返)期间持有仓库级锁,会将法定人数变成单一的无序请求队列,同一时刻只允许一个写入进行。队列中每个写入都需时至少等于最慢健康副本的耗时。随着写入速率上升,队列随之变长,每个写入都要比前一个等待更久。
采用按引用序列化后,只有争用同一引用的写操作才需要相互等待。实际场景中,仓库内的多数写操作指向不同的引用——例如 Agent 和开发者各自推送到自己的分支——因此它们不再彼此阻塞。每次写操作依然会经历跨区域延迟,但针对不同引用的写入可以并行进行。这消除了仓库的单点瓶颈。我们可以通过对比两种方案在相似负载下的表现,直观地看到排队和超时是如何累积的:
这些变更将仓库的写入吞吐量上限提升至与并发写引用数量大致成正比,并使剩余的仓库能够接入 Azure。在模拟真实流量的内部测试中,针对不同引用的写入在更低延迟下实现了 3–4 倍更高的吞吐量。
独立扩展读操作
大多数仓库具有明显的读多写少特征,读写比例通常在 100:1 到 1000:1 之间。目前,读和写操作访问相同的副本,因此争用同一资源,无法独立扩展。
将存储与计算解耦改变了这一状况。一旦仓库数据持久化存储在 Azure Blob Storage 中,并随每次写入进行更新,我们便可以开始将读流量与写入仲裁解耦,从而独立扩展各自所需的计算资源。例如,读操作可以从更多的内存缓存中获益,但我们目前的内存也需用于压缩。分离之后,每个组件都能拥有独立的配置。
第一步是将对象存储纳入仲裁体系,作为一个特殊的成员,我们称之为虚拟副本。代表它的计算层是我们首个完全临时的节点。它作为通往对象存储的桥梁,流式处理传入的写入,但不提供读服务。由于它是仲裁成员,只有当写入在对象存储中持久化完成后,系统才会确认该写操作。
这样每次写入会增加一点延迟,但和跨区域往返一样,按引用串行化避免了它成为吞吐瓶颈。虚拟写入副本还会把作用于不同引用的事务合并成一组网络 I/O 发往对象存储,因此繁忙的仓库只需为多个并发写入支付一次往返成本,而不是每次写入各付一次。目前,虚拟写入副本还负责压缩(compaction),读取副本会继承压缩后的状态。 有了虚拟写入副本,我们就可以按需为仓库扩展任意数量的虚拟读取副本。每个读取副本从 Azure Blob Storage 预热缓存,无需加入 quorum 即可开始承接读流量——它以对象存储为事实来源,并在后台持续对齐本地状态。 这一步大幅解锁了读取扩展能力。在内部测试中,我们的分布式压测工具在现有架构上经常撞到性能上限;而面对虚拟读取副本时,反而先撞上了压测工具自身的极限。当然这一步也带来几个挑战,将在后续步骤中解决:下一步计划
今天的 GitHub 建立在 Spokes quorum 之上,而经过多年发展,Spokes 的角色早已超越 quorum 协调器:它同时是一个智能路由与负载均衡层,是一套内部客户端用来访问和操作仓库数据的统一 API(每天处理超过 1000 亿次操作),还包括一组被称为 "sweeper" 的后台系统,负责仓库的放置、修复以及在存储节点之间的再平衡。 Spokes 服务体系下的绝大部分内容,在新架构和现有架构中同样适用。但我们也清楚地认识到:支撑 GitHub 达到十亿仓库规模的提交协议,无法支撑它走向下一个十亿乃至更远。工作还没做完。这些优化落地后,下一个瓶颈就是写吞吐量。目前每次写入仍然要等待持有完整仓库副本的多个副本节点确认,但实际上需要全局排序的写入内容非常少。Git 对象不可变且以内容命名,因此可以独立存储,无需集群共识。剩下的工作很小,难点在于如何尽快完成排序,同时不把瓶颈转移到其他地方。在白板上设计这种架构是一回事,在数十亿个仓库上,在开发者和 Agent 全天候持续写入的真实场景中实现它则是另一回事。要达成目标,我们还不得不重新思考那些二级效应,比如持久化引用状态存放在哪里、压缩和垃圾回收如何扩展。
Agent 流量还在持续增长。随着这些优化逐步落地,每个阶段都为仓库提供了更大的余量,无需等到最终形态完成。
下篇文章预告: 在 GitHub Universe 大会以及本系列的最后一篇中,我们将详细介绍那个最终形态:它对写吞吐量的提升、我们为此解决的二级问题,以及为什么技术栈某处仍然需要一个(小的)共识组。
感谢 Brian Celenza 对本文的贡献。