第8章 使用 RustFS Operator 在 Kubernetes 上部署与扩展对象存储
← 所有文章 使用 RustFS Operator 在 Kubernetes 中部署和扩展对象存储 2026年10月20日 8 分钟阅读 RustFS Kubernetes Operator Helm 对象存储 教程
在 Kubernetes 上手动搭建对象存储意味着你要编写大量的 StatefulSet、PVC 和 Service——日后扩展时还得逐个修改它们。RustFS Operator 让这一切变得声明式:你只需在一个 Tenant 自定义资源中描述期望的集群状态,Operator 便会自动处理编排、凭据注入、状态跟踪以及扩容。它内置了 Web 控制台,方便日常运维。
本教程基于 rustfs-operator/rustfs-tenant 图表 v0.0.8,涵盖以下内容:
- 安装 Operator 并登录其 Web 控制台; - 两种创建 Tenant 的方法——通过 Web UI 或 Tenant Helm 图表; - 通过添加存储池来扩展 Tenant。
先来看全局——下文的所有步骤都发生在这个架构图中:
一句话概括核心逻辑:一个 Tenant 就是一个独立的 RustFS 集群。Operator 监控 Tenant CR,并为每个池配置相应的 StatefulSet、PVC 和 Service。一个 Tenant 可以包含多个池,所有池共同组成该 RustFS 集群,并通过一个 S3 端点(:9000)和一个控制台(:9001)对外暴露。
安装 Operator
Operator 以 Helm 图表的形式提供。
添加 Helm 仓库: $ helm repo add operator https://operator.rustfs.com $ $ helm repo update $
该仓库托管了 rustfs-operator 和 rustfs-tenant 两个图表。如果你习惯在 ArtifactHub 上浏览,这两个图表也已发布在那里。有关发布声明,请参阅《RustFS Helm 图表现已在 ArtifactHub 上可用》。
安装 Operator: $ helm install operator operator/rustfs-operator \ $ $ --version 0.0.8 \ $ $ --namespace rustfs-system --create-namespace $
完整的配置项请参阅 Operator 图表的 values 文件。
安装完成后,你应该能在 rustfs-system 命名空间看到以下资源: $ kubectl -n rustfs-system get pods,svc $
NAME READY STATUS RESTARTS AGE pod/operator-rustfs-operator-757f7dcc9b-s6rq8 1/1 Running 0 2d2h pod/operator-rustfs-operator-console-54fb7d5fbd-sfbxs 1/1 Running 0 2d2h
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/operator-rustfs-operator-console ClusterIP 10.0.209.104
各 Service 的用途如下: Service 端口 | 用途 -console 9090 | Operator 管理控制台(Web UI 和 API) -metrics 8080 | Prometheus 指标 -sts 4223 | STS 临时凭据服务(TLS)
登录 Operator 控制台
生产环境中,建议通过 Ingress 暴露控制台。本地测试时,端口转发即可——注意 Service 端口为 9090: $ kubectl -n rustfs-system port-forward svc/operator-rustfs-operator-console 9090:9090 $
控制台使用 Kubernetes ServiceAccount 令牌进行身份验证,你需要按照登录页面的提示创建该令牌: $ kubectl -n rustfs-system create token operator-rustfs-operator-console --duration=24h $
一个值得注意的安全细节:提交令牌后,控制台会将其加密存储在进程内存中。浏览器 Cookie 仅包含一个随机会话 ID——原始令牌绝不会保存在浏览器里。会话在 12 小时后过期,届时需重新登录。
创建 Tenant
每个 Tenant 都是一个独立的 RustFS 集群;节点数和磁盘数完全可配置。一个 Tenant 可以包含多个池,所有池共同组成该集群。创建 Tenant 有两种支持的方法:Operator Web UI 和 Tenant Helm 图表。
前置条件:创建凭据 Secret(必需)
无论选择哪种路径,都请先创建凭据 Secret: $ kubectl -n TENANT_NAMESPACE create secret generic TENANT_SECRET_NAME \ $ $ --from-literal=accesskey='rustfs@test' \ $ $ --from-literal=secretkey='rustfs@test' $
根据实际情况替换 TENANT_NAMESPACE 和 TENANT_SECRET_NAME。这两个值至少需要 8 个字符。
为什么是“必需”?在单节点 Tenant 中,RustFS 节点之间通过经过身份验证的 RPC 通道通信,该通道的密钥由 access/secret 键对派生。没有凭据,单节点开发实例仍能运行,但多节点实例在启动时会因“endpoints include remote nodes but RPC authentication secret is not configured”而失败。这是实践中最常见的陷阱。
选项 1:Operator Web UI
在 Operator Web 控制台中,打开 Tenants 页面,点击最右侧的 Create Tenant:
填写基本信息:
- Tenant 名称 - Tenant 所在命名空间 - RustFS 镜像 - 凭据(即上面创建的 Secret) - 池布局:服务器数量及每台服务器的磁盘数量(这些将映射为 Pods 和 PVCs)
点击 Create Tenant。底层,控制台会写入一个 Tenant CR,Operator 开始协调——创建 StatefulSet、PVC 和 Service。就绪后:
选项 2:Tenant Helm 图表
如果你更喜欢 GitOps 工作流,可以使用专用的 Tenant Helm 图表来声明 Tenant。它与 Operator 图表位于同一个 Helm 仓库(也在 ArtifactHub 上),因此开箱即用: $ helm search repo operator -l | grep tenant $ operator/rustfs-tenant 0.0.8 A RustFS Tenant with optional S3 and Console in...
首先,描述 Tenant 的节点和磁盘布局。以下配置创建一个 4 节点集群,每个节点 1 块磁盘——你可以使用 erasure code 计算器来确定满足持久性目标所需的服务器和磁盘数量:
$ tenant: $ $ spec: $ $ credsSecret: $ $ name: tenant-svt-credentials $ $ pools: $ $ - name: pool-0 $ $ servers: 4 $ $ persistence: $ $ volumesPerServer: 1 $ $ volumeClaimTemplate: $ $ accessModes: [ReadWriteOnce] $ $ resources: $ $ requests: $ $ storage: 10Gi $
将其保存为 values-tenant.yaml 并运行: $ helm install tenant-svt operator/rustfs-tenant \ $ $ -n tenant-svt --create-namespace \ $ $ -f values-tenant.yaml $
等待 Pods 启动: $ kubectl -n tenant-svt get pods -w $
NAME READY STATUS RESTARTS AGE tenant-svt-pool-0-0 1/1 Running 0 32s tenant-svt-pool-0-1 1/1 Running 0 63s tenant-svt-pool-0-2 1/1 Running 0 92s tenant-svt-pool-0-3 1/1 Running 0 2m9s
提示:PVC 在早期可能显示为 Pending,并伴随 WaitForFirstConsumer 事件。这是因为存储类在等待第一个使用者——一旦 Pods 被调度,PVC 就会绑定。无需修复。
tenant-svt Tenant 现在会出现在 Operator Web 控制台中:
访问 Tenant
一个 Tenant 暴露两个端点:S3 API(:9000)和 RustFS 控制台(:9001)。两者都可以通过 Ingress 或 Gateway API 发布——配置请参阅 Tenant 图表文档。设置完成后,登录 RustFS 实例:
横向扩展
添加池可以线性扩展 Tenant 的容量,但有一个硬性约束:新池的 EC/条带布局必须与现有池完全匹配。
你可以通过 Operator Web UI 或 Tenant Helm 图表来添加池。
选项 1:Operator Web UI
找到想要扩展的 Tenant——例如 tenant-dev。点击右侧的 + Add Pool,输入新池的名称、服务器数量和每台服务器的磁盘数,然后确认。
扩展完成后,tenant-dev 拥有两个池,每个都是 4x2 布局:
Operator 仪表盘提供了更清晰的视图:
选项 2:Tenant Helm 图表
这就是声明式管理的优势所在:在 values 文件中追加第二个池,然后升级。
$ tenant: $ $ spec: $ $ credsSecret: $ $ name: tenant-svt-credentials $ $ pools: $ $ - name: pool-0 $ $ servers: 4 $ $ persistence: $ $ volumesPerServer: 1 $ $ volumeClaimTemplate: $ $ accessModes: [ReadWriteOnce] $ $ resources: $ $ requests: $ $ storage: 10Gi $ $ - name: pool-1 $ $ servers: 4 $ $ persistence: $ $ volumesPerServer: 1 $ $ volumeClaimTemplate: $ $ accessModes: [ReadWriteOnce] $ $ resources: $ $ requests: $ $ storage: 10Gi $
$ helm upgrade tenant-svt operator/rustfs-tenant \ $ $ -n tenant-svt \ $ $ -f values-tenant.yaml $
等待 Pods 就绪: $ kubectl -n tenant-svt get pods $
NAME READY STATUS RESTARTS AGE tenant-svt-pool-0-0 1/1 Running 0 3m29s tenant-svt-pool-0-1 1/1 Running 0 4m1s tenant-svt-pool-0-2 1/1 Running 0 4m40s tenant-svt-pool-0-3 1/1 Running 0 7m22s tenant-svt-pool-1-0 1/1 Running 0 7m24s tenant-svt-pool-1-1 1/1 Running 0 7m23s tenant-svt-pool-1-2 1/1 Running 0 7m23s tenant-svt-pool-1-3 1/1 Running 0 7m23s
新池会出现在 Operator Web 控制台的 tenant-svt 页面中:
以及 RustFS 实例本身的池管理页面中:
总结
- 一个 Tenant 就是一个独立的 RustFS 集群。Operator 通过 Tenant CR 声明式地管理一切——池数量、服务器和磁盘都只是 spec 字段。 - 凭据 Secret 是多节点 Tenant 的硬性前置条件。它身兼两职:既是登录凭据,也是节点间 RPC 认证密钥的来源。 - 扩展即添加池。保持新池的 EC 布局与现有池一致,容量即可线性增长。Web UI 和 Helm 图表是同一操作的两个入口——可视化运维选 Web UI,GitOps 流水线选 Helm 图表。
链接:
- RustFS Operator: https://github.com/rustfs/operator - Helm 仓库: https://operator.rustfs.com - ArtifactHub: https://artifacthub.io/packages/search?repo=operator
继续探索 rustfs.com:
- 什么是对象存储?—— Operator 所管理的存储层背后的概念。 - 详解纠删码—— 本指南保持同步的 EC 布局背后的数学原理。 - 准备弃用 MinIO?MinIO 到 RustFS 迁移指南 是推荐的数据复制路径,用于迁移到当前版本。