进阶 rustfs.com 2026-11-14 08:26:37 · 12 阅读

第8章 使用 RustFS Operator 在 Kubernetes 上部署与扩展对象存储

← 所有文章 使用 RustFS Operator 在 Kubernetes 中部署和扩展对象存储 2026年10月20日 8 分钟阅读 RustFS Kubernetes Operator Helm 对象存储 教程

在 Kubernetes 上手动搭建对象存储意味着你要编写大量的 StatefulSet、PVC 和 Service——日后扩展时还得逐个修改它们。RustFS Operator 让这一切变得声明式:你只需在一个 Tenant 自定义资源中描述期望的集群状态,Operator 便会自动处理编排、凭据注入、状态跟踪以及扩容。它内置了 Web 控制台,方便日常运维。

本教程基于 rustfs-operator/rustfs-tenant 图表 v0.0.8,涵盖以下内容:

- 安装 Operator 并登录其 Web 控制台; - 两种创建 Tenant 的方法——通过 Web UI 或 Tenant Helm 图表; - 通过添加存储池来扩展 Tenant。

先来看全局——下文的所有步骤都发生在这个架构图中:

一句话概括核心逻辑:一个 Tenant 就是一个独立的 RustFS 集群。Operator 监控 Tenant CR,并为每个池配置相应的 StatefulSet、PVC 和 Service。一个 Tenant 可以包含多个池,所有池共同组成该 RustFS 集群,并通过一个 S3 端点(:9000)和一个控制台(:9001)对外暴露。

安装 Operator

Operator 以 Helm 图表的形式提供。

添加 Helm 仓库: $ helm repo add operator https://operator.rustfs.com $ $ helm repo update $

该仓库托管了 rustfs-operator 和 rustfs-tenant 两个图表。如果你习惯在 ArtifactHub 上浏览,这两个图表也已发布在那里。有关发布声明,请参阅《RustFS Helm 图表现已在 ArtifactHub 上可用》。

安装 Operator: $ helm install operator operator/rustfs-operator \ $ $ --version 0.0.8 \ $ $ --namespace rustfs-system --create-namespace $

完整的配置项请参阅 Operator 图表的 values 文件。

安装完成后,你应该能在 rustfs-system 命名空间看到以下资源: $ kubectl -n rustfs-system get pods,svc $

NAME READY STATUS RESTARTS AGE pod/operator-rustfs-operator-757f7dcc9b-s6rq8 1/1 Running 0 2d2h pod/operator-rustfs-operator-console-54fb7d5fbd-sfbxs 1/1 Running 0 2d2h

NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/operator-rustfs-operator-console ClusterIP 10.0.209.104 9090/TCP 6d19h service/operator-rustfs-operator-metrics ClusterIP 10.0.124.119 8080/TCP 6d19h service/operator-rustfs-operator-sts ClusterIP 10.0.222.192 4223/TCP 6d19h

各 Service 的用途如下: Service 端口 | 用途 -console 9090 | Operator 管理控制台(Web UI 和 API) -metrics 8080 | Prometheus 指标 -sts 4223 | STS 临时凭据服务(TLS)

登录 Operator 控制台

生产环境中,建议通过 Ingress 暴露控制台。本地测试时,端口转发即可——注意 Service 端口为 9090: $ kubectl -n rustfs-system port-forward svc/operator-rustfs-operator-console 9090:9090 $

控制台使用 Kubernetes ServiceAccount 令牌进行身份验证,你需要按照登录页面的提示创建该令牌: $ kubectl -n rustfs-system create token operator-rustfs-operator-console --duration=24h $

一个值得注意的安全细节:提交令牌后,控制台会将其加密存储在进程内存中。浏览器 Cookie 仅包含一个随机会话 ID——原始令牌绝不会保存在浏览器里。会话在 12 小时后过期,届时需重新登录。

创建 Tenant

每个 Tenant 都是一个独立的 RustFS 集群;节点数和磁盘数完全可配置。一个 Tenant 可以包含多个池,所有池共同组成该集群。创建 Tenant 有两种支持的方法:Operator Web UI 和 Tenant Helm 图表。

前置条件:创建凭据 Secret(必需)

无论选择哪种路径,都请先创建凭据 Secret: $ kubectl -n TENANT_NAMESPACE create secret generic TENANT_SECRET_NAME \ $ $ --from-literal=accesskey='rustfs@test' \ $ $ --from-literal=secretkey='rustfs@test' $

根据实际情况替换 TENANT_NAMESPACE 和 TENANT_SECRET_NAME。这两个值至少需要 8 个字符。

为什么是“必需”?在单节点 Tenant 中,RustFS 节点之间通过经过身份验证的 RPC 通道通信,该通道的密钥由 access/secret 键对派生。没有凭据,单节点开发实例仍能运行,但多节点实例在启动时会因“endpoints include remote nodes but RPC authentication secret is not configured”而失败。这是实践中最常见的陷阱。

选项 1:Operator Web UI

在 Operator Web 控制台中,打开 Tenants 页面,点击最右侧的 Create Tenant:

填写基本信息:

- Tenant 名称 - Tenant 所在命名空间 - RustFS 镜像 - 凭据(即上面创建的 Secret) - 池布局:服务器数量及每台服务器的磁盘数量(这些将映射为 Pods 和 PVCs)

点击 Create Tenant。底层,控制台会写入一个 Tenant CR,Operator 开始协调——创建 StatefulSet、PVC 和 Service。就绪后:

选项 2:Tenant Helm 图表

如果你更喜欢 GitOps 工作流,可以使用专用的 Tenant Helm 图表来声明 Tenant。它与 Operator 图表位于同一个 Helm 仓库(也在 ArtifactHub 上),因此开箱即用: $ helm search repo operator -l | grep tenant $ operator/rustfs-tenant 0.0.8 A RustFS Tenant with optional S3 and Console in...

首先,描述 Tenant 的节点和磁盘布局。以下配置创建一个 4 节点集群,每个节点 1 块磁盘——你可以使用 erasure code 计算器来确定满足持久性目标所需的服务器和磁盘数量:

$ tenant: $ $ spec: $ $ credsSecret: $ $ name: tenant-svt-credentials $ $ pools: $ $ - name: pool-0 $ $ servers: 4 $ $ persistence: $ $ volumesPerServer: 1 $ $ volumeClaimTemplate: $ $ accessModes: [ReadWriteOnce] $ $ resources: $ $ requests: $ $ storage: 10Gi $

将其保存为 values-tenant.yaml 并运行: $ helm install tenant-svt operator/rustfs-tenant \ $ $ -n tenant-svt --create-namespace \ $ $ -f values-tenant.yaml $

等待 Pods 启动: $ kubectl -n tenant-svt get pods -w $

NAME READY STATUS RESTARTS AGE tenant-svt-pool-0-0 1/1 Running 0 32s tenant-svt-pool-0-1 1/1 Running 0 63s tenant-svt-pool-0-2 1/1 Running 0 92s tenant-svt-pool-0-3 1/1 Running 0 2m9s

提示:PVC 在早期可能显示为 Pending,并伴随 WaitForFirstConsumer 事件。这是因为存储类在等待第一个使用者——一旦 Pods 被调度,PVC 就会绑定。无需修复。

tenant-svt Tenant 现在会出现在 Operator Web 控制台中:

访问 Tenant

一个 Tenant 暴露两个端点:S3 API(:9000)和 RustFS 控制台(:9001)。两者都可以通过 Ingress 或 Gateway API 发布——配置请参阅 Tenant 图表文档。设置完成后,登录 RustFS 实例:

横向扩展

添加池可以线性扩展 Tenant 的容量,但有一个硬性约束:新池的 EC/条带布局必须与现有池完全匹配。

你可以通过 Operator Web UI 或 Tenant Helm 图表来添加池。

选项 1:Operator Web UI

找到想要扩展的 Tenant——例如 tenant-dev。点击右侧的 + Add Pool,输入新池的名称、服务器数量和每台服务器的磁盘数,然后确认。

扩展完成后,tenant-dev 拥有两个池,每个都是 4x2 布局:

Operator 仪表盘提供了更清晰的视图:

选项 2:Tenant Helm 图表

这就是声明式管理的优势所在:在 values 文件中追加第二个池,然后升级。

$ tenant: $ $ spec: $ $ credsSecret: $ $ name: tenant-svt-credentials $ $ pools: $ $ - name: pool-0 $ $ servers: 4 $ $ persistence: $ $ volumesPerServer: 1 $ $ volumeClaimTemplate: $ $ accessModes: [ReadWriteOnce] $ $ resources: $ $ requests: $ $ storage: 10Gi $ $ - name: pool-1 $ $ servers: 4 $ $ persistence: $ $ volumesPerServer: 1 $ $ volumeClaimTemplate: $ $ accessModes: [ReadWriteOnce] $ $ resources: $ $ requests: $ $ storage: 10Gi $

$ helm upgrade tenant-svt operator/rustfs-tenant \ $ $ -n tenant-svt \ $ $ -f values-tenant.yaml $

等待 Pods 就绪: $ kubectl -n tenant-svt get pods $

NAME READY STATUS RESTARTS AGE tenant-svt-pool-0-0 1/1 Running 0 3m29s tenant-svt-pool-0-1 1/1 Running 0 4m1s tenant-svt-pool-0-2 1/1 Running 0 4m40s tenant-svt-pool-0-3 1/1 Running 0 7m22s tenant-svt-pool-1-0 1/1 Running 0 7m24s tenant-svt-pool-1-1 1/1 Running 0 7m23s tenant-svt-pool-1-2 1/1 Running 0 7m23s tenant-svt-pool-1-3 1/1 Running 0 7m23s

新池会出现在 Operator Web 控制台的 tenant-svt 页面中:

以及 RustFS 实例本身的池管理页面中:

总结

- 一个 Tenant 就是一个独立的 RustFS 集群。Operator 通过 Tenant CR 声明式地管理一切——池数量、服务器和磁盘都只是 spec 字段。 - 凭据 Secret 是多节点 Tenant 的硬性前置条件。它身兼两职:既是登录凭据,也是节点间 RPC 认证密钥的来源。 - 扩展即添加池。保持新池的 EC 布局与现有池一致,容量即可线性增长。Web UI 和 Helm 图表是同一操作的两个入口——可视化运维选 Web UI,GitOps 流水线选 Helm 图表。

链接:

- RustFS Operator: https://github.com/rustfs/operator - Helm 仓库: https://operator.rustfs.com - ArtifactHub: https://artifacthub.io/packages/search?repo=operator

继续探索 rustfs.com:

- 什么是对象存储?—— Operator 所管理的存储层背后的概念。 - 详解纠删码—— 本指南保持同步的 EC 布局背后的数学原理。 - 准备弃用 MinIO?MinIO 到 RustFS 迁移指南 是推荐的数据复制路径,用于迁移到当前版本。

本篇用到的工具

评论 (0)