第20章 RustFS 原生支持 S3 Tables:将对象存储升级为 AI 原生存储
← 所有文章 RustFS 原生支持 S3 表格:将对象存储升级为 AI 原生存储 2026年6月15日 4 分钟阅读 Rust RustFS S3 S3 表格 安全
距离 RustFS 开源发布已近一年,它实现了与 S3 协议的完全兼容,成为增长最快的开源分布式对象存储项目之一。今天,我们很高兴地宣布,对 Amazon S3 表格的原生支持即将完成。遵循我们持续的开源承诺,这一里程碑正式将 RustFS 从传统的对象存储提升为 AI 原生存储。
S3 表格:AI 时代的存储刚需
2006 年,AWS 推出 S3,开创了管理非结构化数据(视频、图像、文本等)的新时代,并确立了对象存储的事实标准。
2024 年,AWS 引入了 S3 表格。通过首创“Table Buckets”架构,AWS 将 S3 的边界直接延伸至结构化数据领域。这是首次实现结构化数据与非结构化数据在对象存储层的统一管理。
这一范式转变由 AI 的快速进步以及对高效大规模数据管理的迫切需求驱动。
数据是 AI 时代的血液。大语言模型(LLM)的训练需要海量结构化与非结构化数据,而推理和 Agent 工作流则持续生成巨大的数据集。然而,传统存储架构通常将结构化数据 relegated 到独立的数据库或数据仓库,而非结构化数据则留给对象存储或文件系统。在一个要求极高数据流动性和效率的 AI 时代,这种碎片化的架构引入了关键瓶颈:
* 运维复杂性:组织必须维护多个异构存储系统。随着 LLM 训练和推理数据扩展至 PB 或 EB 级别,管理这些分散系统的运维开销和资源成本呈指数级增长。 * 数据处理低效:AI 应用频繁在异构系统之间切换以交换数据。这种跨系统的数据移动占用了宝贵的系统 I/O 和网络带宽,引入了巨大的延迟,严重拖慢了端到端的数据管道。 * 缺乏 AI 原生设计:传统存储架构缺乏对 AI 特定工作负载(如 RAG 管道和 Agent 记忆存储)的语义感知。由于结构化数据和非结构化数据仍然处于孤岛状态,LLM 难以执行直接的跨模态联合检索和推理。因此,企业被迫构建复杂的中件来填补底层存储与 AI 业务逻辑之间的鸿沟。
S3 表格打破了这一僵局。通过将数据湖管理能力(如 Apache Iceberg 表格格式)直接嵌入对象存储核心,它消除了异构数据系统之间的孤岛。提供标准化的数据管理接口,它将真正的 AI 原生能力赋予了存储层。
RustFS 如何实现 S3 表格支持
在已经具备完整的 S3 兼容性的基础上,RustFS 能与任何支持 S3 协议的系统无缝集成。通过将这一能力扩展至 S3 表格,我们的实现带来了独特优势:
* 开放且可扩展:RustFS 采用对业务友好的 Apache 2.0 许可证分发。S3 表格支持将被直接集成到核心中,并遵循相同的开源协议发布,确保用户拥有完全的灵活性和自由度。 * Rust 驱动:利用 Rust 的内存安全性和高并发性能,RustFS 能够以卓越的稳定性和效率处理 S3 表格带来的密集元数据操作(如快照清单和文件压实)。这直接契合了 AI 训练工作负载对低延迟的严格要求。 * 企业级安全:RustFS 具备全面的内置安全套件,包括全生命周期 IAM 管理、审计日志、mTLS 和 KMS。这些成熟的能力将全面注入 S3 表格,以确保稳健的数据治理。 * 无摩擦部署:RustFS 支持多种安装路径(源码编译、预构建二进制文件、容器化)和跨平台部署(Linux、macOS、Windows、NixOS 等)。用户只需一条命令即可启动 RustFS 实例,立即开始使用 S3 表格。 * 统一数据管理:在 RAG 等 AI 场景中,原始非结构化数据和经过处理的结构化数据湖元数据都可以在 RustFS 中统一。通过标准的表格格式接口,上游 AI 引擎可以无缝执行联合分析和检索,消除了独立对象存储和分析数据库之间繁琐的数据同步。
支持 S3 表格是我们致力于构建 AI 数据中心确定性存储基础设施使命中的关键一步。通过将结构化和非结构化数据的全生命周期纳入统一的 RustFS 生态系统,我们大幅降低了 LLM 训练、推理和 AI 应用的数据管理成本,同时最大化了存储吞吐量和空间利用率。
关于 RustFS
RustFS 是一个用 Rust 编写的下一代分布式对象存储系统,专为 AI 数据中心打造。作为在 Apache 2.0 许可证下开源的项目,RustFS 在短短 10 个月内就获得了超过 28k 的 GitHub Star,在全球 GitHub Trending 列表上 9 次上榜,在 GitHub Rust Trending 列表上 50 次上榜。
迄今为止,RustFS 拥有超过 100 万实例的全球部署基础,并服务于多家全球企业客户。2026 年 4 月,RustFS 正式加入 NVIDIA Inception 全球加速器计划。借助 NVIDIA DPU 生态系统,RustFS 正在积极构建优化 DPU 的下一代存储操作系统。
GitHub 仓库:https://github.com/rustfs/rustfs 官方网站:https://rustfs.com