← 文章 / 云原生与基础设施
NVIDIA 开发者博客 7小时前 · 2026-10-01 03:25:35 · 1 阅读

NVIDIA cuObject 与 SCADA Server SDK 扩展 AI 存储访问能力

AI 基础设施工程师、存储开发商和云服务提供商需要快速、安全地访问大容量文件存储和对象存储,以支撑 AI 工作负载。

AI 工作负载在训练、微调、推理上下文、工具调用、搜索和数据库查询等环节中,对高速数据访问的需求越来越高。这些数据很多以文件或对象的形式存放在本地和云端。各类计算加速器——包括 GPU、TPU、XPU——都需要远程直接内存访问(RDMA),即借助 NIC 或 DPU 加速的数据传输(如 NVIDIA ConnectX NIC 或 NVIDIA BlueField DPU),且数据无需经过服务器 CPU 控制的内存进行拷贝。随着 GPU 架构不断提速,对 RDMA 加速的零拷贝数据传输的需求也在持续增长。

开发者要直接访问文件存储和对象存储,就不得不应对各家厂商不同的 API 和协议。此外,基于 RDMA 的对象存储一直缺乏统一的传输协议,开发者要么为各家厂商做专门的集成,要么退而求其次,沿用传统的访问方式。

xio-sig 的扩展和全新的 Scaled Accelerated Data Access(SCADA)Server SDK,为构建面向 AI 工作负载、更具互操作性的存储访问提供了两条路径。

xio-sig 与 SCADA 的新进展

NVIDIA 正在与 Google Cloud 和 Microsoft 合作,将 xio-sig 扩展到 cuFile 之外,新增 NVIDIA cuObject,并宣布 cuObject 客户端和服务器库正式可用。开发者可以借助 cuObject 的 API 和 RDMA 传输协议,构建加速的对象存储应用和服务器;而 xio-sig 则为 cuObject 客户端提供了与任何遵循该传输协议的服务端实现互操作的路径。

全新的 SCADA Server SDK 让存储厂商能够构建 SCADA 服务器,响应来自 SCADA 客户端的 GPU 发起请求。IBM 已通过集成 SCADA 与 IBM Storage Scale 的原型展示了互操作性。结合 xio-sig 的扩展,这些举措为 AI 开发者、存储厂商和云服务商提供了更多方式,通过共享的 API 和协议来构建和使用加速存储。

还有一类新兴的 AI 数据访问场景:由加速器发起的小而细粒度的 I/O 请求,既不适合传统存储介质,也不适合传统协议。通过 Storage-Next 计划,NVIDIA 正带领一个由 40 多家厂商和客户组成的联盟——包括 NAND 厂商、控制器厂商、存储服务商、超大规模云厂商和应用开发者——共同定义 GPU 驱动的存储应如何运作,并将这些成果转化为可互操作的开放行业标准。支撑高吞吐、细粒度、GPU 发起的存储访问的软件基础设施是 SCADA。关于开源 cuFile API、Storage-Next 和 SCADA 的 FMS 博客介绍了这些工作的背景。

cuObject support in xio-sig

cuObject 库正式发布后,AI 应用开发者、开源框架开发者、存储服务商和存储用户都能获得标准化的加速 AI 数据访问方法,同时支持文件和对象协议,如图 1 所示。AI 加速器可通过 RDMA 直接访问文件和对象存储,数据无需经过服务器 CPU 中转,从而在读写数据时获得更高吞吐、更低延迟,并降低 CPU 占用。

左侧框图展示了 AI 应用如何通过 cuObject Client API,经由网络使用不同的对象控制协议 SDK 访问对象存储服务器,未来各种云服务商可能都会提供支持。图中显示对象协议控制路径走 HTTPS/TCP,而对象数据传输走 RDMA 网络。
图 1. cuObject 让开发者能够使用不同的对象控制协议和 SDK,加速应用对对象存储服务器的访问。对象控制协议通过 HTTPS/TCP 传输,对象数据传输则通过 RDMA 进行

Google Cloud 目前是 xio-sig 中 cuFile 的维护者,正考虑进一步参与 cuObject 的工作,这体现了其对高性能云文件和对象存储的持续投入。Microsoft 也期待加入 xio-sig 董事会,共同提升存储 I/O 的互操作性。

xio-sig 进展

仓库结构已分别为 cuFile 和 cuObject 建立完毕。cuFile 和 cuObject 的头文件、cuObject 线上协议,以及 libxFile 的库实现代码和 xFilekernel 内核代码,将在生产就绪的技术栈通过一致性测试后共享。治理文档目前正在待定董事会成员的审核之中。

NVIDIA Storage-Next 与 SCADA 扩展

在 Storage-Next 计划中,全新的 SCADA Server SDK 让存储合作伙伴可以构建这样的服务器:接收来自 GPU 端 SCADA 客户端的请求,通过本地或远程存储完成处理,并经 RDMA 返回结果。该计划还包括 Storage Lender Service 以及用于配置和部署 SCADA 的命令行工具。这些组件支持存储厂商构建能与 SCADA 客户端互操作的服务器。

A block diagram shows a SCADA client on the left connecting via PCIe, NVIDIA NVLink, or a network to a 3rd-party SCADA Server in the middle. The SCADA server connects via a network to 3rd-party file servers on the right side. The middle part of the diagram illustrates that different SCADA servers can be built using the SCADA Server SDK and respond to requests from SCADA clients.
图 2. SCADA Server SDK 让第三方开发者能够构建 SCADA 存储服务器,通过统一接口响应 SCADA 客户端的请求

IBM Storage 已展示了一个原型:SCADA 客户端向其基于新版 SCADA Server SDK 构建的初版 Storage Scale SCADA 服务器发送请求。这表明存储厂商可以与 NVIDIA 携手,共同打造 SCADA 加速型、GPU 发起的存储访问生态,为语义搜索、推荐系统、欺诈检测等应用所需的大规模数据集访问奠定软件基础设施基础。

开始使用 cuObject 和 xio-sig

随着 xio-sig 扩展支持 NVIDIA cuObject,且 cuObject 相关库已全面发布,存储合作伙伴、提供商和使用方现在就可以开始使用 cuObject,并参与到社区在 cuFile 与 cuObject 可互操作 API 及协议方面的建设中来。

软件产品信息请参阅相关声明。

原始来源: NVIDIA 开发者博客

评论 (0)