第22章 RustFS S3 Tables 快速入门:对象存储内嵌 Apache Iceberg REST Catalog
← 全部文章 RustFS 推出 S3 Tables:在开源对象存储中内嵌 Apache Iceberg 表 2026年9月10日 5 分钟读完 RustFS S3 Tables Apache Iceberg 对象存储 教程
摘要: RustFS 现已内置 S3 Tables 支持:一个运行在对象存储内核中的 Apache Iceberg REST Catalog。单一进程,单一端口(9000),同时支持标准 S3 和 Iceberg REST Catalog 协议。Spark、DuckDB 和 PyIceberg 可直接创建表并进行数据读写,无需插件、无需额外服务、无许可证费用。完全开源,采用 Apache 2.0 协议。
今天,我们兴奋地宣布 RustFS 的 S3 Tables 功能正式发布——与我们的所有其他功能一样,该特性完全开源。
一套存储系统,统一结构化与非结构化数据 在 S3 Tables 出现之前,大多数团队并行维护两套存储架构: * 一个用于结构化数据的数据湖仓——通常情况下,这些文件最终还是要写入兼容 S3 的对象存储中 * 一个用于所有非结构化数据的对象存储
这种割裂意味着需要部署、安全加固、监控和升级两套系统。这不仅使运维负担加倍,还引入了集成胶水代码,而这些代码往往在最不想要它出问题时才崩溃。 RustFS S3 Tables 消除了这种割裂。
RustFS S3 Tables 究竟是什么 RustFS S3 Tables 将 Apache Iceberg REST Catalog 直接嵌入对象存储内核。现在,一个监听单一端口(9000)的进程同时支持两种协议: * 标准 S3 —— 用于对象,与以往完全一致 * Iceberg REST Catalog —— 用于表:命名空间、模式、快照和提交
由于 Catalog 支持开放的 Iceberg REST 协议,Spark、DuckDB 和 PyIceberg 等引擎无需专有插件即可创建表并进行数据读写。如果你的引擎支持 Iceberg REST 客户端,它就已经可以工作了。
写入机制:控制平面与数据平面分离 写入过程遵循清晰的存算分离架构: * 表的创建和快照提交通过控制平面——即 Iceberg REST Catalog——进行处理。Catalog 层使用 CAS(比较并交换)版本检查来拒绝过期的并发提交,并利用幂等性键吸收重复提交,从而保证多引擎并发写入的一致性。 * 实际的 Parquet 数据文件由计算引擎直接通过 S3 API 写入存储桶——数据路径中没有中间层。
元数据指针存储在一个保留的内部前缀下。普通的 S3 请求无法创建、覆盖或删除 Catalog 元数据,因此杂散的对象写入永远不会损坏表状态。
快速入门 体验 S3 Tables 最快的方式是通过 Docker 运行 RustFS,在控制台中启用表存储桶,并将 Spark 指向它。整个流程大约需要十分钟。
1. 使用 Docker 安装 RustFS
启动一个 RustFS 实例:
docker run -d \
--name rustfs \
-p 9000:9000 \
-p 9001:9001 \
-v rustfs-data:/data \
-e RUSTFS_ACCESS_KEY="
注意:RustFS 容器以非 root 用户身份运行。请确保数据卷或目录(例如上面的 rustfs-data 卷)的所有者是 UID 10001。
容器启动后,使用上面设置的访问密钥和秘密密钥登录 http://
2. 将存储桶启用为 S3 Table 在 RustFS 控制台的左侧导航中,您会找到一个专门的 S3 Table 部分。
要创建 S3 Table,首先创建一个存储桶,然后使用下方的“启用表存储桶”操作将其转换为表存储桶。
启用后,该存储桶变为 S3 Table 存储桶,您可以在其中创建和管理命名空间和表。
3. 使用 Apache Spark 写入数据 您可以直接从 Spark 写入 S3 Tables。这是一个完整且自包含的 PySpark 脚本: from pyspark.sql import SparkSession
# ================= 配置 =================
RUSTFS_ENDPOINT = "http://
spark = ( SparkSession.builder .appName("RustFS S3 Tables REST Demo") .config( "spark.jars.packages", "org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.5.2," "org.apache.iceberg:iceberg-aws-bundle:1.5.2" ) .config("spark.sql.extensions", "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")
# REST Catalog(控制平面) .config("spark.sql.catalog.demo", "org.apache.iceberg.spark.SparkCatalog") .config("spark.sql.catalog.demo.type", "rest") .config("spark.sql.catalog.demo.uri", f"{RUSTFS_ENDPOINT}/iceberg") .config("spark.sql.catalog.demo.metrics-reporter.impl", "none") .config("spark.sql.catalog.demo.warehouse", RUSTFS_BUCKET) .config("spark.sql.catalog.demo.rest.sigv4-enabled", "true") .config("spark.sql.catalog.demo.rest.signing-name", "s3") .config("spark.sql.catalog.demo.rest.signing-region", "us-east-1") .config("spark.sql.catalog.demo.rest.access-key-id", RUSTFS_ACCESS_KEY) .config("spark.sql.catalog.demo.rest.secret-access-key", RUSTFS_SECRET_KEY)
# S3 FileIO(数据平面——与 REST 凭据分开配置;两者均需设置) .config("spark.sql.catalog.demo.io-impl", "org.apache.iceberg.aws.s3.S3FileIO") .config("spark.sql.catalog.demo.s3.endpoint", RUSTFS_ENDPOINT) .config("spark.sql.catalog.demo.s3.path-style-access", "true") .config("spark.sql.catalog.demo.s3.access-key-id", RUSTFS_ACCESS_KEY) .config("spark.sql.catalog.demo.s3.secret-access-key", RUSTFS_SECRET_KEY) .config("spark.sql.catalog.demo.s3.region", "us-east-1") .getOrCreate() )
print("Spark 会话已初始化,正在连接 RustFS...")
try: # 1. 创建命名空间(这是控制台 UI 下拉菜单中显示的内容) print("正在创建命名空间: db_analytics ...") spark.sql("CREATE NAMESPACE IF NOT EXISTS demo.db_analytics")
# 2. 创建表 print("正在创建表: user_events ...") spark.sql(""" CREATE TABLE IF NOT EXISTS demo.db_analytics.user_events ( user_id STRING, event_type STRING, event_time TIMESTAMP ) USING iceberg TBLPROPERTIES ('format-version'='2') """)
# 3. 插入测试数据 print("正在写入测试数据 ...") spark.sql(""" INSERT INTO demo.db_analytics.user_events VALUES ('u001', 'click', CAST('2024-01-01 10:00:00' AS TIMESTAMP)), ('u002', 'view', CAST('2024-01-01 11:00:00' AS TIMESTAMP)) """)
# 4. 通过查询验证 print("正在运行验证查询 ...") spark.sql("SELECT * FROM demo.db_analytics.user_events").show()
print("成功!刷新 RustFS UI 并切换到 'db_analytics' 命名空间即可查看该表。")
except Exception as e: print(f"错误: {e}")
将脚本保存为文件并运行: python s3-table.py
您应该会看到: +-------+----------+-------------------+ |user_id|event_type| event_time| +-------+----------+-------------------+ | u001| click|2024-01-01 10:00:00| | u002| view|2024-01-01 11:00:00| +-------+----------+-------------------+
成功!刷新 RustFS UI 并切换到 'db_analytics' 命名空间即可查看该表。
4. 在控制台中验证结果 打开 RustFS Web 控制台,进入 S3 Table 部分,找到您写入的存储桶——在上述示例中为 test。在 test 表存储桶内,您将看到 db_analytics 命名空间,以及其下的 user_events 表。
点击表以检查其详细信息,包括概览、模式和快照。
接下来做什么 借助 S3 Tables,RustFS 在单一系统中统一了结构化与非结构化数据——简化了大规模数据管理,并在 AI 时代加速了数据处理流水线。 S3 Tables 刚刚发布,我们正在快速迭代。如果您遇到任何问题,请在我们的官方 GitHub 仓库 github.com/rustfs/rustfs 上提交 issue——如果您希望贡献代码,非常欢迎提交 PR。
常见问题 RustFS S3 Tables 免费且开源吗? 是的。RustFS 采用 Apache 2.0 许可证,S3 Tables 是存储服务器的内置功能。无需额外的商业版本即可使用。 哪些查询引擎兼容 RustFS S3 Tables? 任何支持 Iceberg REST Catalog 协议的客户端:Apache Spark、PyIceberg、DuckDB 以及其他兼容 Iceberg 的引擎。 我是否需要像 Hive Metastore 或 AWS Glue 这样的独立 Catalog 服务? 不需要。Iceberg REST Catalog 已内置于 RustFS 中——少了一个需要部署、安全加固和运维的系统。 这与 AWS S3 Tables 有何关系? AWS S3 Tables 是一种托管商业服务。RustFS 将同类能力——由对象存储直接服务的原生 Iceberg 表——带来自托管、开源的堆栈,实现了开放的 Iceberg REST Catalog 协议。
参考资料
RustFS S3 Tables 文档:docs.rustfs.com/en/administration/data/s3-tables RustFS GitHub 仓库:github.com/rustfs/rustfs