第16章 按需迁移——将对象拉取到 RustFS
← 所有文章 按需迁移:将对象拉入 RustFS 2026年11月2日 8 分钟阅读 最佳实践 通用操作 教程
按需迁移是指从外部源拉取对象到本地 RustFS 存储桶(桶)。当客户端读取某个本地未存储的键时,RustFS 会从配置的外部源读取该对象并返回,同时将其写入本地。您也可以启动回填(backfill)以拉取尚未被客户端请求过的键。
当您希望 RustFS 从可读取的源填充存储桶,并在后续从 RustFS 提供对这些已存储键的读取服务时,请使用此功能。启用表单明确指出,RustFS 永远不会向源写入或删除对象。一旦键在本地存储,按需迁移便不再跟踪源的变更。后续对源中该键的修改不会覆盖本地对象。本地的 PUT 或 DELETE 操作也不会写回到源中。
存储桶复制(Bucket replication)是另一项独立功能。它负责将 RustFS 存储桶中的对象版本推送到另一个存储桶,且要求两个存储桶均启用了版本控制。站点复制(Site replication)则用于在部署环境间同步站点配置和身份数据。按需迁移并不承担上述任何职能。
以下教程以 Cloudflare R2 为例进行演示。相同的控制台操作序列适用于列表中的所有服务商,仅端点、凭据和存储桶字段有所不同。本实验室环境使用 9001 端口的 Console v1.0.3。本文中稍后出现的图表数据是该次运行的结果,并非对吞吐量或容量的承诺。
实地笔记及更多截图请参阅“按需迁移”文档。
选择哪种路径
目标 使用功能 描述 从下方列表中的服务商拉取对象到 RustFS,触发条件为 GET 未命中或回填 按需迁移 将对象版本从 RustFS 存储桶推送到另一个存储桶 存储桶复制 跨部署环境同步站点配置和身份数据 站点复制 使用 S3 客户端复制当前对象,验证后引导客户端指向 RustFS 客户端镜像,参见“从 MinIO 迁移到 RustFS”
切勿选择任何已作为该本地存储桶复制目标的存储桶作为按需迁移的源。
“迁移激活”意味着该存储桶已绑定至源。在客户端读取缺失的键或启动回填之前,运行时计数器保持为零。
支持的源服务商
“源连接 → 服务商”列出了这些源。以下名称为控制台标签。Google Cloud Storage 包含两个条目:HMAC 和 Native。
Amazon S3 S3 兼容存储 MinIO RustFS Cloudflare R2 Google Cloud Storage (HMAC) Azure Blob Storage (Native) Google Cloud Storage (Native)
如果您需要列表中未包含的服务商,请在 RustFS 仓库中开启 Pull Request 以请求官方审查。
前置要求
已安装的 RustFS 实例。“Linux 快速入门”涵盖了安装、控制台登录及创建存储桶。 位于读取本地存储桶的主机上的 RustFS CLI 工具 rc。 一个可读取的源存储桶。本例使用 Cloudflare R2 存储桶和一个具备读权限但无写/删权限的 R2 API 令牌。R2 存储桶的公开访问权限不属于此流程的一部分。 能够打开本地存储桶“设置”的控制台账号。
将 rc 指向本地 RustFS S3 API,而非源:
rc alias set rustfs http://localhost:9000
本教程中的本地存储桶名为 migration。R2 存储桶名为 dl-rustfs。migration 已启用版本控制,并禁用了对象锁(Object Lock)。教程表明,启用对象锁并非开启按需迁移的前提,版本控制亦非必需项。但在启用版本控制的情况下,本地的删除标记可能会隐藏源中的键。
R2 S3 端点的形式为 https://
1. 创建空的本地存储桶
在控制台中,打开 浏览器 → 存储桶,创建一个名为 migration 的存储桶,并确认其中没有对象。准备好绑定源时,从该存储桶打开 设置。
2. 打开按需迁移
打开 migration 存储桶,选择 设置。 选择 自动化。 找到 按需迁移。 若未配置,选择 打开迁移设置 或 + 启用按需迁移。若已激活,选择 管理迁移。
本教程中未配置的页面提示“未配置迁移源”,并提供 + 启用按需迁移。启用源后,自动化部分显示 迁移激活 和 管理迁移。
3. 选择服务商
在 启用按需迁移 中设置源。本实验室选择了 Cloudflare R2。将账号 ID 和密钥替换为您自己的只读令牌。除非令牌要求,否则保持 会话令牌 为空。将 本地前缀 留空以暴露整个源命名空间。本教程未保存额外前缀(所有键,无添加前缀)。
字段 本教程值
源 Cloudflare R2
端点 https://
对于列表中的其他服务商,请在相同字段中填入该系统的端点、读取凭据和存储桶名称。
4. 测试连接并启用迁移
选择 测试连接。成功时报告 连接测试通过 并显示源存储桶中的示例对象键。然后选择 启用迁移。
配置状态变为 迁移激活。在读出或回填任何内容之前,运行时状态保持为迁移对象数为零,迁移数据量为零。最新任务显示 尚未回填。
5. 通过 GET 未命中拉取单个对象
使用 rc 读取本地存储桶。不要将此请求发送到 R2 端点。在本教程中,本地存储桶仍为空,拉取了一个缺失对象。首次未命中将对象返回给客户端并存储到本地。后续对同一键的读取将由 RustFS 提供服务。
rc cp rustfs/migration/artifacts/rustfs/packages/nightly/rustfs-nightly-2026-11-02.deb /tmp/
rustfs/migration/artifacts/rustfs/packages/nightly/rustfs-nightly-2026-11-02.deb -> /tmp/rustfs-nightly-2026-11-02.deb (71.34 MiB)
如果源存储桶不包含此对象,请使用另一个键。此拉取操作后,控制台浏览器显示该对象位于本地存储桶中。71.34 MiB 是此次单个 rc cp 命令的结果,并非回填总量。
6. 回填前缀或源命名空间
启动回填会扫描源并拉取尚未本地存在的键。本教程中的前缀回填使用了以下设置:
选项 含义 教程值 源列表前缀 仅列出此前缀 artifacts/rustfs/packages/nightly/ 现有本地对象 键已在本地时的操作 始终跳过 试运行 列出匹配项而不排队或写入对象 排练时开启,拉取时关闭
试运行列出匹配对象,但不排队或写入任何对象。确认前缀后,在执行拉取前关闭试运行。
将 源列表前缀 留空以扫描配置的源命名空间。先运行试运行并确认列出的集合。本教程中的试运行结束,列出了对象但未拉取任何内容:
列出 拉取 跳过 失败对象 数据 128 0 0 0 0 B
随后进行的全量回填(前缀为空)结果如下。这些数值是该实验室任务的结果。它们不代表速率,也不是其他存储桶的容量规划指南。
列出 拉取 跳过 失败对象 数据 128 127 1 0 8.0 GiB
在回填写入对象期间,控制台显示列出和拉取的数量。在源扫描仍在进行时,它不显示完成百分比。
7. 在浏览器和运行时中验证
在按需迁移页面检查:
运行时状态 — 迁移对象和数据不再为零,且未记录拉取失败。 后台回填 — 最新任务显示列出、拉取、跳过和失败的数量。 浏览器和 rc — 使用 rc ls 列出前缀,并使用 rc cp 再次读取本地键。
在本教程中,运行时面板显示 迁移数据 8.1 GiB 和 迁移对象 128。最新回填显示 列出 128,拉取 127,跳过 1,失败对象 0,数据 8.0 GiB。运行时面板和回填任务是实验室记录中的独立读数。存储桶列表显示 migration 有 128 个对象和 8.1 GiB。
源中对同一键的后续修改不会覆盖本地对象。该键的本地 PUT 不会写回源,且它会优先于源中的键。按需迁移并非来自源的持续复制。
延伸阅读
按需迁移 Linux 快速入门 CLI 客户端 (rc) 存储桶复制 站点复制 rustfs.com 上的复制 从 MinIO 迁移到 RustFS:技术指南 Cloudflare R2
Amazon S3 是 Amazon.com, Inc. 或其关联公司的商标。Cloudflare 和 R2 是 Cloudflare, Inc. 的商标。Google Cloud Storage 是 Google LLC 的商标。Azure 是 Microsoft Corporation 的商标。MinIO 是 MinIO, Inc. 的注册商标。RustFS 与上述公司无隶属、背书或赞助关系。