第5章 测试
文档测试 celld 做出三项承诺:
确认写入保证持久化。 每个 cell 在任意时刻只有一个写入者。 为 Cloudflare Workers 和 Durable Objects 编写的代码在 celld 上表现一致。
我们通过对照 workerd(Celld 的协调协议参照运行时)进行差分执行来测试 API 契约,通过模型检查和确定性仿真来测试协调协议,并在实时集群上通过故障注入来测试完整系统。 一致性:两个运行时,同一输出 我们在 workerd(Cloudflare 的生产运行时)和 celld 上运行相同的 Workers 和 Durable Objects 程序,输出结果必须完全一致。workerd 提供参考输出,因此预期行为不依赖于 celld。 每个新 API 都会向测试语料库中添加测试用例。我们还将 workerd 的 Durable Objects 契约测试、Web 平台全局测试以及上游 Web 平台测试移植过来。在版本发布前,我们会在每种部署模式下通过完整的 celld 二进制文件回放存储、SQL、报警、流、WebSocket 和生命周期场景。 规范:小规模穷举 协调协议使用 TLA+ 规范描述。Heyang Zhou 针对 celld v0.1.0 编写了这些规范。他的模型检查发现了四个 bug 和一个会导致已确认写入丢失的脑裂场景。这些问题均已修复。它们在我们自己的审查或测试中均未暴露。 在小规模配置下,检查器访问所有可达状态。模型假设对象存储是线性一致的,且共享时钟完美同步,因此违规不需要时钟偏移或存储异常即可发生。不变量包括每个 epoch 只有一个写入者,以及不丢失已确认写入。检查器还验证了键中的 epoch 能够阻止过期 owner 的迟到写入导致已确认写入丢失。 每个配置都固定了预期结论,且大多数结论为失败:每个配置都模拟一个过去的协议 bug 或故意破坏的检查器,并必须产生其反例。 在构建之前,写入确认围栏(write-acknowledgment fence)的重设计就经过了检查。检查发现旧版本存在一个八状态反例:一个休眠 cell 在其释放操作进行中时以旧 epoch 恢复,确认了一个写入,而随后的接管恢复时却丢失了该写入。修复已上线,该反例作为固定失败用例保留。 检查器还删除了代码。celld 曾在恢复时密封(seal)cell 的持久化历史。结论表明,密封仅阻止未确认写入的返回,而 celld 并不承诺这一点;且它可能将可恢复的顺序错误转变为永久性数据丢失。 我们手动更新规范以反映协议变更。这些规范不在持续集成中运行。单独的记录追踪模型尚未描述的内容,包括比代码实际保证更弱的保证。 仿真:对抗性调度下的协议 危险 bug 存在于协调过程中:所有权交接期间的崩溃、与接管竞争的租约续期、针对部分恢复 cell 的报警。这些窗口太窄且发生太罕见,无法等待其自然发生。 因此,协调协议是一个 纯决策核心 ,没有 I/O。时钟、随机性和对象存储都是仿真器驱动的接口。仿真存储注入延迟、比较并交换竞争以及丢失的响应。时钟会发生漂移,节点可以在每个 await 点崩溃。脚本化的对抗方扮演 cell 角色,例如永不返回的处理器或中途停止的写入流。由于 V8 不具有确定性,因此它被排除在仿真之外。 每个运行由带种子的调度器驱动,因此失败可以精确复现。我们检查安全性(同一 epoch 出现两个写入者、丢失已确认写入、过期的租约返回)和活性(每个已设置的报警都触发,崩溃后所有权最终稳定在一个节点上)。属性必须在数万个种子下保持成立,核心协议已历经数百万种调度。故意破坏的协议变体用于验证检查器能检测到这些故障。 实时集群:仿真无法看到的 仿真无法看到真实的 S3 尾延迟、真实的内核和文件系统行为,或内存压力下的 V8。一个永久的集群实验室使用标准提供商的标准虚拟机,针对真实存储桶运行。工作负载轮换进行:具有大量 WebSocket 连接的聊天室、在数万个带校验和的 cell 之间移动的工作集、负载下的部署切换,以及填满内存限制的节点。实验室对每个版本进行资格验证。我们归档每次运行的配置、验证扫描、节点日志、内核日志和阶段计时,包括失败的运行。 故障发生在验证扫描之间。一次扫描通过不同节点获取每个 cell,并比较状态、主体内容和完整消息账本。在所有权移动期间,cell 可能短暂不可用,但其已提交状态必须保持完整,且活动节点必须再次提供该 cell。 场景包括:
在写入流中间对节点执行 SIGKILL 并删除其本地数据库,使恢复仅来自存储桶。所有已确认写入都返回,因为输出门控将每个响应保持到写入持久化。 冻结 owner,通过其他节点写入其 cell,然后解冻。该节点看到其租约已移动,并拒绝提供旧状态。每个写入恰好落地一次。 将节点与存储桶断开。它自我围栏(fence itself)。 将存储桶的所有请求节流到 429。引擎速度匹配存储桶速率,不会放大节流效果。 在提供商级别在工作负载中途停止整个主机。其 cell 移动到其它节点,返回的主机重新加入时没有重复驻留。
在所有场景的每次运行中,验证扫描显示零主体故障、零状态故障和零消息丢失。 我们信任的几个数字
在竞争条件下,epoch 围栏保持有效。五百个并发申请者对相同 cell 进行了 5,500 次尝试:每个 epoch 只有一个写入者,零违规。 热驻留请求是局部的。对驻留 cell 的请求执行零存储桶操作,并在 p50 ~1.1 ms 和 p99 ~7 ms 内返回(固定主机测量)。只有冷激活才接触对象存储。 持久化写入等待持久化证明。单个节点通过存储桶证明每个写入,因此一次存储桶往返是最小要求。两个或更多节点的集群可以通过每个跟随者将其保存在磁盘上来证明写入。实验室集群测量到存储桶证明约为 600 ms,集群证明约为 25 ms。存储桶上传与每个集群证明竞争,因此慢速跟随者不会使写入比存储桶证明更慢。对单个 cell 的并发写入共享一次上传。 恢复是常规工作。调度将非活动 cell 的恢复视为普通工作。测量的恢复时间来自已退役的外部复制器,因此在此页面提供数字之前,我们需要一个集群运行来测量 celld-ltx。 十个小节点承载了真实规模。十个节点,每个有 4 vCPU 和 8 GB,承载了 10,000 个驻留 cell 和 20,000 个并发 WebSocket 连接。停止十个节点中的两个后,所有 cell 在尾部约 11 秒内在另一节点上再次可用(带有保留余量)。
已知失效边界 处于驻留上限的集群没有空间容纳丢失节点的 cell,因此丢失多个节点会降低服务。我们测试有和没有保留容量的恢复,以衡量这一限制。 报告破坏保证的调度、未测试的故障,或你无法在 issue tracker 中复现的测量结果。