进阶 rustfs.com 2026-11-14 08:26:37 · 13 阅读

第34章 什么是对象存储?历史、概念与工作原理全解析

← 知识中心 什么是对象存储?历史、概念与工作原理 2026年10月3日 · 12 分钟阅读 对象存储 / 存储基础 / 架构 / RustFS 问五个工程师什么是对象存储,通常会得到同一个答案——“就是 S3”——外加五种不同的解释。这个共同答案没说错:S3 API 太成功了,以至于在大多数人心里,这个类别和它最著名的实现已经合二为一。但对象存储比 S3 更早、范围更大,它背后的设计思想本身就值得深入理解——尤其是当你自己运维基础设施的时候。 这篇文章是一次彻底的讲解:什么是对象存储,它和你熟悉的块存储、文件存储有何不同,它从哪里来,一个对象如何从 PUT 一路落到机械盘(或闪存)上,以及它擅长什么、短板在哪。读完之后,“对象存储”对你来说就不只是一个 URL 前缀了。 存储一个字节的三种方式 每种存储系统都在回答同一个问题:如何再次找到这个字节? 块存储把数据切成固定大小的块(传统上 512 字节到 4 KiB),用编号来寻址——即逻辑块地址,就像一条很长街道上的门牌号。存储层完全不知道这些字节代表什么。块设备是最原始、最快的存储形态:磁盘伪装成的就是它,数据库最爱它,hypervisor 分配给虚拟机的“磁盘”也是它。但块除了地址没有身份标识,也没有共享概念——一个卷同一时间只能挂载到一台主机上。 文件存储在块之上叠加了层级结构:文件、目录、权限,以及每个程序员都熟悉的 POSIX 操作。每个文件有一个 inode——文件系统用来把路径映射到数据块的元数据记录。文件存储是最贴近人类直觉的模型,对共享工作数据来说依然是正确的选择。它的弱点是结构性的:层级需要目录,目录需要锁,锁需要协调,而协调在规模变大后代价高昂。文件系统的元数据也比较贫乏——只有几个时间戳和权限位,无法承载应用自定义的数据。 对象存储彻底抛弃了层级。数据以对象的形式存在,每个对象自包含,通过唯一的 key 寻址——key 是任意字符串,比如 photos/2026/cat.jpg——通过简单的 HTTP 即可获取。对象把三样东西打包成一个不可变的单元:数据本身、一组丰富的元数据、以及寻址用的 key。没有需要更新的 inode,没有需要协商的目录锁,没有需要记录日志的文件系统。正是这种简洁性,让对象存储能容纳数十亿乃至公有云中数百亿亿个对象。 ...
对比表格 | 块 | 文件 | 对象 | | 寻址方式 | LBA(扇区号) | path → inode | key(任意字符串) | | 协议 | NVMe, iSCSI, FC | NFS, SMB, POSIX 调用 | HTTP (S3 API) | | 结构 | 无 | 深层级 | 扁平命名空间 | | 元数据 | 无 | 固定 inode 字段 | 丰富、可自定义 | | 可变性 | 随机读写 | 文件可原地编辑 | 写入后不可变、整体替换 | | 典型规模 | 每卷 TiB | 数百万文件 | 数十亿对象 | | 最擅长 | 数据库、VM | 共享工作数据 | 海量非结构化数据 | “写入后不可变、整体替换”这一行最让人意外。经典模型中,你无法打开对象中间某处改几个字节——要么写一个新对象,要么读出对象、修改后整体写回。这个约束不是谁忘了修复的缺陷,而是让其他一切都成为可能的关键设计:不可变对象支撑了激进的缓存、简单的复制、校验和验证以及可预测的一致性。现代系统做了一些柔化——multipart upload 分片处理大文件,部分平台增加了 append 或 range-write 扩展——但不可变性依然是概念上的核心。 对象存储简史 对象存储并非诞生于 2006 年,但确实是在 2006 年被产品化的。它的思想根源可以追溯到 1990 年代到 2000 年代初的分布式存储研究——那些系统探索了内容寻址存储、纠删码集群,以及一个在当时相当激进的想法:存储应该通过 Web 风格的接口访问,而不是挂载设备语义。(Ceph 就是 Sage Weil 在那个年代——2000 年代中期——在加州大学圣克鲁兹分校的博士研究。) 研究界的共识是:只要放弃原地修改和深层级,就能构建几乎无限横向扩展的系统。 然后 Amazon 拿出了实证。Amazon S3 于 2006 年 3 月 14 日上线——一个恰好实现了这套模型的 Web 服务:bucket、key、HTTP 动词、按 GB 计费。同年它与 AWS 的 EC2 一起出现,共同定义了云计算。S3 的接口简单到可以重新实现,又实用到人人都去实现了它。这个组合让 S3 API 成为行业事实标准——每一家存储系统、备份工具、分析引擎和 ML 框架都说这门“语言”。 随后一波浪潮值得了解,因为它解释了今天的格局: - 2008–2010 —— 公有云跟进:微软的 Azure Blob Storage 和 Google Cloud Storage 把对象存储带入各自平台。 - 2010 —— Rackspace 将其 Cloud Files 技术开源为 OpenStack Swift,把平台级的对象存储带入私有数据中心。 - 2007 年起 —— Ceph 从研究项目成长为统一的开源存储平台,其 RADOS Gateway 在自身的多副本+纠删码核心之上提供 S3 兼容 API。 - 2014 —— MinIO 发布,定位轻量级、S3 优先的对象存储——一个 Go 二进制文件就让 S3 兼容存储变成十分钟部署,成为私有云和边缘场景的默认选择。 - 2020 —— Amazon S3 对所有操作实现强一致性的写后读,终结了“最终一致性”这个影响了十年的 workaround。 - 今天 —— 开源一代仍在延续:RustFS(Rust、Apache 2.0、S3 兼容)就是其中一员——与上述系统同一架构级别,用内存安全语言为现代硬件重新构建。 bucket 与 object 的解剖 整个模型由两个名词支撑:bucket 和 object。 对象是原子单元。如下图所示,它由三部分组成: - key —— 对象在 bucket 内的唯一名称,例如 photos/2026/cat.jpg。key 只是字符串,系统不会赋予它任何含义。 - data —— 数据字节本身,整体写入、整体读取。 - metadata —— 描述对象的键值对:内容类型、长度、校验和或 ETag、版本 ID、时间戳,以及——最关键的——应用自定义的元数据。 bucket 是顶层容器:一个名字全局唯一的扁平命名空间。创建 bucket 后,PUT 进去的所有对象都存放在这个扁平池里。内部没有文件夹结构——photos/2026/cat.jpg 并不是嵌套在两层目录里的文件,它只是一个恰好包含斜杠的字符串。工具为了方便人看会把 key 渲染成树形,但存储引擎看到的始终只是 key,这正是大规模下列举、批处理和分区依然简单的原因。 这个模型有两个特性值得注意: 不可变 + 版本控制。你从不编辑对象,只替换它。S3 风格的系统提供版本控制:每次写入都会创建一个新的不可变版本并分配 ID,“最新”指针随之移动。旧版本保留下来——这让误删和勒索软件式的覆写变成可恢复事件,而不是灾难。 元数据是一等公民。文件系统只给你权限和时间戳。对象存储允许每个对象携带应用自定义的元数据和标签——这让对象存储天然适合那些需要按策略(而非按路径)路由、过滤、审计数据的流水线。 PUT 时究竟发生了什么 下面是对 RustFS 这类分布式对象存储执行一次 PUT /photos/2026/cat.jpg 的完整旅程——从这里开始,对象存储不再是概念,而是一套工程系统: - 路由到放置单元。key 被映射到一组磁盘——一个固定分组(RustFS 使用 2–16 块盘组成的 set),成员通过对 key 哈希选出。不同对象落在不同的 set 上,没有哪块盘会成为所有人的瓶颈或所有人的故障点。 - 切分与保护。对象字节被切成 1 MiB 的 stripe,每个 stripe 编码成 data + parity 分片,分散写入 set 内的各块盘——这就是 Reed-Solomon 纠删码,同样的数学让集群在盘故障时无需保留完整副本也能存活。(具体数学原理见《Erasure Coding Explained》。) - 写入时校验。每个分片都带有强校验和,静默损坏——即 bit rot——会在每次读取时被发现,而不是等到备份时才暴露。 - 提交元数据。一条元数据记录把 key 绑定到它的布局:哪个 set、分片顺序、校验和、版本、大小。之后的 GET 就查询这条记录。 GET 则是反向走一遍:哈希 key、读元数据、从其中 k 块盘拉取分片(部分离线时可以少于 k)、验证校验和、重建缺失部分、把字节流式返回。所有盘健康时,parity 计算完全跳过——读取就是纯粹的拼接。 这是每一个严肃对象存储的核心循环。产品之间的差异主要在于执行得好不好:编码路径有多快、故障修复多及时、集群再平衡多优雅、S3 API 覆盖多全面。 为什么对象存储赢得了非结构化数据 把这些设计决策放在一起看,规律很清晰——每一项都是用数据库或文件系统想要的东西,换来了规模所需的东西: - 扁平命名空间 —— 没有目录树就没有元数据热点、递归锁、rename 风暴。对象写入天然高度并行。 - HTTP 语义 —— 每种语言、每个平台、每个 CDN 都说 HTTP。无需装驱动,无需挂载表。 - 不可变性 —— 缓存可以激进,校验可以绝对,复制可以异步,一致性还可以是强的(2020 年 S3 的变更证明不可变和强一致完全兼容)。 - 丰富元数据 —— 策略(生命周期规则、保留策略、访问分层)可以基于数据是什么来运作,而不仅基于数据在哪里。 - 用纠删码替代副本 —— 用 3 副本一半的开销,数学上获得同样的容错耐久性。 当然也有诚实的局限,因为它们会塑造真实的架构: - 不能原地编辑。照片和归档没问题;可变的工作集就是问题。(数据库和文件共享应该用别的存储。) - 延迟。HTTP 请求加 parity 计算不会赢过本地 NVMe 设备,它也没打算赢。 - POSIX 缺口。真正需要文件系统语义的应用得借助 gateway、mount 或 cache 来桥接对象和文件——有用,但只是桥,不是合一。 典型应用场景 如果一类数据的写入多于编辑,它大概率适合放进对象存储: - 备份与归档 —— 带版本、校验和验证、生命周期管理的副本;经典的第一 workload。 - 数据湖与分析 —— 数据湖就是对象 bucket 加上表格式(Iceberg、Delta Lake、Parquet);查询引擎直接通过 S3 API 读对象。 - AI/ML 流水线 —— 数据集、模型 checkpoint 和产物巨大、不可变,由成群的 GPU worker 并行读取。 - 媒体与静态资源 —— 图片、视频和网站资源由 CDN 直接从 bucket 拉取分发。 - 云原生基础设施 —— 容器镜像仓库、CI 产物、日志、trace 全都是对象;Kubernetes 有状态生态多年前就标准化在 S3 API 上了。 - 合规与保留 —— 对象锁定(write-once-read-many)让“到期前删除”在结构上不可能发生。 定义这个品类的系统 | 系统 | 定位 | | Amazon S3 | 2006 年的开山之作;其 API 是行业标准 | | Azure Blob Storage、Google Cloud Storage | 公有云对应产品,各自带 S3 兼容互操作层 | | Ceph (RADOS Gateway) | 统一的开源存储;在多副本/纠删码核心之上提供 S3 API | | OpenStack Swift | 源自 Rackspace Cloud Files 的开源对象存储 | | MinIO | S3 优先、单二进制的私有云对象存储 | | RustFS | Rust 编写的现代 S3 兼容存储(Apache 2.0)——纠删码、bitrot 防护、自愈 | | Garage、SeaweedFS 等 | 各具特色的开源长尾 | 看这张表时要留意两个趋势。第一,S3 兼容性就是互操作契约:即使有自己原生 API 的系统也会提供 S3 端点,因为整个生态——备份工具、框架、数据引擎——都默认它存在。第二,核心动词其实很少、很好学:PUT、GET、DELETE、LIST,再加上处理大文件的 multipart upload、临时访问的 presigned URL,以及版本/生命周期控制。其余一切都是叠在其上的便利层。 对象存储的 RustFS 之道 RustFS 属于最新一代:用 Rust 编写、Apache 2.0 协议的 S3 兼容对象存储,遵循本文描述的同一套原则——实现细节在我们的纠删码深度解析中有完整覆盖: - 对象以 1 MiB stripe 在 2–16 块盘的 erasure set 上做纠删码,parity 数量按 set 大小选择、上限为盘数一半——就是上文说的耐久性/容量调节旋钮。 - 每个分片都带 HighwayHash-256 校验和并在读取时验证,bit rot 会被发现并导向重建,而不是直接送到你的应用手里。 - 自愈机制按 stripe 把丢失的分片重建到替换盘上,并且对象到分片的分布式设计让故障分散——一块盘挂掉,每个对象只丢一个分片,而不是让某个对象全丢。 - S3 API 面——bucket、对象、版本、生命周期——是契约,你现有的工具无需改动即可工作。 想深入了解第一、二点背后的底层原理——有限域运算、生成矩阵、恢复路径——请读《Erasure Coding Explained》。想在你的盘数下体验耐久性/容量的权衡,可以用纠删码计算器帮你算。 一段话总结 对象存储是这样一种存储架构:它不再假装数据有文件夹。它把字节配上一个 key 和一组丰富的元数据,使其不可变,用数学冗余加以保护,然后通过 HTTP 在任何文件系统都望尘莫及的规模上提供服务。它由 Amazon S3 在 2006 年验证,又被每一个重新实现它的人标准化,如今已是全球非结构化数据的默认归宿——备份、数据湖、媒体,以及每个 AI 系统背后的训练集。而有了 RustFS 这样的开源 S3 兼容系统,你不再需要 hyperscaler 级别的预算才能用上它。

本篇用到的工具

评论 (0)