进阶 rustfs.com 2026-11-14 08:26:37 · 11 阅读

第33章 纠删码详解:Reed-Solomon 如何在硬盘故障时保护数据安全

← 知识中心 纠删码详解:Reed-Solomon 如何在硬盘故障时保护数据安全 2026年10月3日 · 14 分钟阅读 纠删码 · 对象存储 · 数据持久性 · RustFS

硬盘会坏。这不是什么罕见的意外,而是统计上的必然。如果你管理几百块硬盘,每个季度总会有一块挂掉;如果是十万块,今天就会有几块出问题。任何存储系统都必须回答一个问题:硬件故障不是会不会发生,而是发生时你的数据会怎样。

纠删码是对象存储系统给出的答案:不保存数据的额外副本,而是计算冗余——通过数学推导出的分片,能在部分数据丢失时重建原始数据。用好纠删码,就能以远低于多副本的成本扛住多块硬盘同时故障。

本文会完整走一遍这条路:从问题出发,经过让纠删码成为可能的代数原理,最后看 RustFS 实际如何把分片写到磁盘上——全程以源码为向导。(如果你对对象存储本身还不熟悉,可以先读《什么是对象存储》,再回来补数学。)

最朴素的方案:存三份副本

应对硬盘故障最简单的办法是多副本:每个对象写三份而不是一份。这样随便坏两块盘数据都不会丢。多副本读取快、逻辑简单——但代价是存储 100% 的数据要占用 300% 的原始容量。

纠删码能以低得多的成本达到同样的容错能力。一种常见布局是 4 个数据分片加 2 个校验分片(记作 EC:4+2):数据切成四份,额外计算两份"校验"数据,全部六份分散存到六块盘上。六片中的任意四片即可还原整个对象。可以容忍两块盘同时故障——和三副本相当——但原始开销只有 150%,而非 300%。

对于 PB 级规模的部署,这个差距就是全部的商业价值所在。但六份互不相同的、没有任何一份是副本的数据,凭什么能恢复出对象?要回答这个问题,就得跳出简单的算术了。

先切分,再计算:纠删码的形态

所有纠删码都分三步工作:

1. 把对象切成 k 个等大的数据分片(本文以 4+2 为例,即 k = 4)。 2. 由数据分片计算出 m 个校验分片(这里 m = 2)。校验分片是纯冗余——每一个都是数据的某种数学函数,不是任何数据的副本。 3. 把全部 k + m 个分片分散存放,同一对象的任意两个分片不落在同一块盘上。

关键性质——所有设计决策都服务于它——是:k + m 个分片中任意 k 个都能还原全部数据。丢一片?还剩五片,任意四片即可重建。丢两片?剩四片,仍然够用。丢三片?只剩三片,对象就没了。这就是它的容错能力:EC:4+2 的对象可以扛住任意 2 个分片同时丢失。

于是问题变成:什么样的数学能把 4 份数据变成 6 份,使得 6 份中任意 4 份都能还原出原始数据?

从 XOR 到 Reed-Solomon

其实你已经认识一种纠删码了,只是没这么叫过它:XOR。在 RAID-5 阵列中,校验块就是所有数据块的异或。任何一块丢失,把幸存的块和校验块做异或,丢失的块就回来了。但 XOR 校验有硬上限:一个方程只能解出一个未知数。丢两块时,单个校验方程就有两个未知数——无解。

Reed-Solomon 编码的概念飞跃在于:构建 m 个不同的校验方程(而不是一个),使用 m 组不同的系数——并且在一个每个方程都可解的数系中做运算。普通整数运算做不到这一点:定宽字节的加法会溢出,减法要借位,除法常常无解(不存在整数 x 使 3x = 1 mod 256……好吧,这个例子其实 x=171 可以,但 2x = 1 mod 256 就完全无解——偶数永远乘不出奇数)。

解决办法是用有限域运算取代整数运算。

GF(2^8):不溢出的字节运算

有限域是一种具备代数所需全部性质的数系——可加、可减、可乘、可除(除零除外)——但会在有限个值上循环。对于面向字节的数据,自然的选择是 GF(2^8):恰好 256 个元素的域,每个元素对应一个字节值。

它的规则乍看很怪,但值得牢记:

- 加法就是 XOR。没有进位,没有溢出。0x57 ⊕ 0x83 = 0xD4,定义就这么简单。一个不错的推论:加法和减法是同一个操作(a - b = a ⊕ b)。 - 乘法是多项式乘法。把每个字节看作系数为比特位的 7 次多项式,做多项式相乘,再对固定的本原多项式 x^8 + x^4 + x^3 + x^2 + 1(即 0x11D)取模。这里的取模就是用 XOR 代替减法的多项式长除法——同样没有进位。 - 每个非零元素都有乘法逆元。这正是模 256 整数缺失的性质,也是矩阵求逆——进而恢复数据——始终可行的关键。2x = 1 在 mod 256 下无解,但在 GF(2^8) 中每个字节都有一个相乘等于 1 的搭档。

在这些规则下,字节不再是容易溢出的脆弱数值,而成了规矩的代数对象。而代数正是我们需要的。

编码:一次矩阵乘法

有了 GF(2^8) 运算,Reed-Solomon 编码就可以简洁地描述为一次矩阵乘法。取各数据分片在同一位置上的 k 个数据字节(每个分片一个字节),排成列向量 [d0, d1, d2, d3],再乘以一个 k + m 行、k 列的生成矩阵 G:

顶部 k 行是单位矩阵——这是刻意的设计,称为系统码形式:数据分片原样通过,读取完好的对象只需拼接,无需解码。底部 m 行是校验系数。Vandermonde 风格矩阵的第 i 行携带域元素 α 的连续幂次,产生的校验字节形如:

p0 = 1·d0 ⊕ α·d1 ⊕ α²·d2 ⊕ α³·d3 p1 = 1·d0 ⊕ α²·d1 ⊕ α⁴·d2 ⊕ α⁶·d3

每一行都是数据的不同线性组合——m 个独立方程,而不是一个。由于 α 是域乘法群的生成元,这些行的独立性恰好满足恢复的要求:G 的任意 k × k 子矩阵都可逆。

实际编码按字节条带(byte-stripe)进行:把分片切成对齐的字节位置(每字节一个符号),每个位置独立编码。这正是编码便宜的原因——对每个字节做一遍 XOR 和查表式的 GF 乘法即可。

解码:对幸存分片求逆

恢复就是把同样的数学反过来跑。假设 D1 和 P0 丢失。剩下四片——D0、D2、D3 和 P1——四片就够了:

1. 取 4 个幸存分片,从 G 中取出它们对应的行。这个 4 × 4 子矩阵可逆(就是上面那个性质),在 GF(2^8) 上计算它的逆。 2. 用这个逆矩阵乘以幸存分片的值,得到原始数据字节——包括丢失的数据分片 D1 的字节。 3. 重新编码校验,再生出 P0,分片组就完整了。

注意这不需要什么:不需要第二份副本,不需要备份,不需要从远程副本重建。冗余本身就是校验数学。这也是为什么纠删码有时被形容为"把空闲容量换成了代数"。

深入 RustFS:理论落地到磁盘

以上是教科书上的数学。而存储系统的可靠性,取决于实现这套理论有多忠实、多防御性。下面看 RustFS 是怎么做的(路径均指 rustfs/rustfs 仓库)。

条带与分片

RustFS 以 1 MiB 为单位对对象做纠删码,称为条带(stripes,见 crates/filemeta/src/fileinfo.rs 中的 BLOCK_SIZE_V2)。一个 100 MiB 的对象是 98 个完整条带加一个短尾条带;每个条带切成 k 个大小为 ceil(stripe / k) 字节的数据分片和 m 个同大小的校验分片(见 crates/ecstore/src/erasure/coding/erasure.rs 中的 calc_shard_size)。以固定条带为单位工作有三重好处:限制内存占用(流式写入不必持有整个对象)、提高部分读取效率(GET 的范围请求只碰相关条带)、让编解码器的 SIMD 工作集对缓存友好。

选择 k 和 m:校验随盘组规模缩放

RustFS 根据纠删组(erasure set)中的硬盘数量推导默认校验数(见 crates/ecstore/src/config/storageclass.rs 中的 default_parity_count):

每组盘数  默认校验  满组布局 10     无冗余 2–3    1     EC:1+1(2 盘)或 EC:2+1(3 盘) 4–5    2     EC:2+2(4 盘)或 EC:3+2(5 盘) 6–7    3     EC:3+3(6 盘)或 EC:4+3(7 盘) 8+     4     EC:4+4(8 盘)到 EC:12+4(16 盘)

在此之上有两条护栏:校验数永远不能超过盘数的一半(parity <= drives / 2)——这很合理,校验超过数据数量收益甚微;且每个对象的总分片数必须能放进 GF(2^8),即最多 255 个分片(MODERN_MAX_TOTAL_SHARDS)。纠删组的规模为 2 到 16 块盘。运维人员可以通过 RUSTFS_STORAGE_CLASS_* 环境变量覆盖所有默认值(例如 RUSTFS_STORAGE_CLASS_STANDARD=EC:3),而 REDUCED_REDUNDANCY 存储类则刻意用 EC:1 换取容量、牺牲持久性。

放置策略:哪个分片落在哪块盘

分片的放置不是随意的。每个对象根据其 bucket/对象键的 CRC32 哈希得到一个排列(见 crates/filemeta/src/fileinfo.rs 中的 FileInfo::new):以 hash % (k + m) 为起点的分片索引轮转。这在生产中有两个重要后果:

- 故障域被分散。不同对象的第 0 号分片落在不同盘上,单盘损坏对每个对象只伤一处(各丢一个分片),而不是彻底毁掉某个对象。 - 各组保持均衡。对象元数据中记录的分布天然是合法排列,写入和读取都按它打乱磁盘顺序。

两套编解码器,一个契约

RustFS 的纠删层(crates/ecstore/src/erasure/coding/erasure.rs)在同一接口后面运行两套 Reed-Solomon 实现:

- 现代编解码器——rustfs-erasure-codec,带 SIMD 加速的 GF(2^8) 实现——处理新写入。 - 旧版编解码器——reed-solomon-simd crate(RustFS 早期版本使用的引擎)——保留在读取和修复路径中,用于以旧磁盘格式写入的对象(元数据中的 uses_legacy_checksum 标记)。

两者的一个磁盘格式差异是:旧版分片大小向上取整到偶数字节,现代版直接用向上取整除法。同时保留两个引擎意味着旧数据永远不会被搁置——有一条原则值得明说:存储系统可以演进它的编解码器,但绝不能失去读取自己写过的数据的能力。

为了性能,编解码器实例按 (k, m) 组合缓存,编码器工作区跨调用复用,热路径上每个条带只分配一个缓冲区。开销真实但很小:据代码库在其目标硬件上的测量,EC 编码约为每 1 MiB 块 110 µs(p99 约 542 µs)——相比网络和磁盘搬运这些字节所花的时间只是零头。

静默损坏:bitrot 检测

硬盘故障是响亮的——盘直接消失。而 bit rot 是安静的:扇区慢慢腐坏,读出来的却是看似合理的数据。光靠纠删码抓不住它(损坏的字节看起来就像正常字节),所以 RustFS 为每个分片块加了校验和:

- 在磁盘上,每个分片是一系列 [32 字节哈希][数据] 帧(见 crates/ecstore/src/erasure/coding/bitrot.rs)。哈希用流式模式的 HighwayHash-256——快到可以在每次读取时都执行,密钥固定(好奇的话:是 π 前 100 位小数的 HighwayHash)。 - 每次读取都会先验证每个块的哈希,字节才会交给调用方。不匹配即视为分片损坏——然后纠删码做它最擅长的事:直接丢弃损坏分片,用剩余分片重建对象。损坏和故障最终走同一条恢复路径。 - 此外,RustFS 在 PUT 之后会对刚写入的分片做二次校验(写入自校验),并支持按条带的 SHA-256 Merkle 证明树(shard-integrity-v1),实现端到端验证。

故障下的读取

健康的读取很简单:k 个数据分片直接拼接成对象,不需要编解码器。而降级读取才是设计的功力所在:

- RustFS 在组内各盘上打开分片读取器,只读够需要的分片数——每个条带 k 个成功——优先读数据分片,只有数据分片缺失或校验失败时才动用校验分片。从延迟角度看,最先响应的 k 个胜出。 - 如果可读分片不足 k 个,请求以读仲裁(read-quorum)错误失败——诚实地说:对象暂时(或永久)不可读。 - 当重建由可疑数据驱动时,RustFS 可以验证重建结果:重新生成校验并与幸存校验分片逐字节比对,拒绝不一致的数据源,而不是悄悄传播损坏。

修复:重建丢失的数据

故障由修复(heal)路径处理(见 crates/ecstore/src/erasure/coding/heal.rs 中的 Erasure::heal 和 crates/ecstore/src/set_disk/ops/heal.rs 中的修复编排):

1. 逐条带读取幸存分片(每个都已通过哈希验证)。 2. 用写入时相同的几何配置重建数据分片并再生校验——旧格式对象走旧编解码器。 3. 把重建的分片流式写到替换盘上,每目标盘的写仲裁刻意放宽到 1:一块不稳定的替换盘不能阻塞健康盘的恢复。进度按块保存。

由于修复按条带流式进行——与读写用的是同样的 1 MiB 单位——重建一块 10 TB 的盘需要从幸存盘读取 k × 10 TB,这就是纠删码的运维代价:持久性是用重建 I/O 换来的。这也正是校验数被限制在组的一半、集群规划要统计重建带宽而不只是稳态吞吐的原因。

纠删码的代价

纠删码不是免费的,诚实的文档应该承认这一点:

- CPU。编码和解码都是逐字节的 GF(2^8) 数学。SIMD 让顺序负载下的开销可以忽略(约每 MiB 110 µs),但并非为零,小随机写入感受到的开销比大顺序写入明显。 - 小对象。把 3 KB 的对象切成四个分片,几乎全是开销。RustFS 通过把微型分片内联到对象元数据文件来缓解(低于每分片 128 KiB 的内联阈值),但如果负载是数百万个小对象,多副本可能仍是更好的选择。工具要匹配负载。 - 重建时间。故障后恢复冗余需要在幸存盘上大范围读取。组越大、校验越多,重建越久——要相应规划故障域和备用容量。 - 纸上的子矩阵数学是免费的;在生产环境里它还必须正确。各种边界情况——短尾条带、零长度对象、损坏的元数据、混用的编解码器世代——才是存储系统真正赢得可靠性的地方,也是 RustFS 各类防御性检查(维度校验、校验交叉比对、仲裁规则)发挥作用的地方。

让数学落地

纠删码属于那种边缘简单(切分、加校验、扛故障)、中心深刻(有限域、生成矩阵、可逆子矩阵)的思想。它的回报是:持久性随数学扩展,而不是随副本数量扩展。EC:4+2 能以三副本一半的原始开销扛住两块盘同时故障。

如果你正在规划集群,纠删码计算器可以针对你的盘数和对象大小把这些权衡换算成具体数字。想了解纠删层如何体现为产品能力——运行中集群的 EC 配置、自愈和站点复制——可以阅读高可用与扩展性概览。如果想了解后续故事——对象如何落入纠删组、修复如何调度、S3 语义如何在其上运作——RustFS 文档有更深入的讲解,工程博客也会持续跟进实现的演进。

本篇用到的工具

评论 (0)