NVIDIA cuObject 与 SCADA Server SDK 扩展 AI 存储访问能力
AI 基础设施工程师、存储开发商和云服务提供商需要快速、安全地访问大容量文件存储和对象存储,以支撑 AI 工作负载。
AI 工作负载在训练、微调、推理上下文、工具调用、搜索和数据库查询等环节中,对高速数据访问的需求越来越高。这些数据很多以文件或对象的形式存放在本地和云端。各类计算加速器——包括 GPU、TPU、XPU——都需要远程直接内存访问(RDMA),即借助 NIC 或 DPU 加速的数据传输(如 NVIDIA ConnectX NIC 或 NVIDIA BlueField DPU),且数据无需经过服务器 CPU 控制的内存进行拷贝。随着 GPU 架构不断提速,对 RDMA 加速的零拷贝数据传输的需求也在持续增长。
开发者要直接访问文件存储和对象存储,就不得不应对各家厂商不同的 API 和协议。此外,基于 RDMA 的对象存储一直缺乏统一的传输协议,开发者要么为各家厂商做专门的集成,要么退而求其次,沿用传统的访问方式。
xio-sig 的扩展和全新的 Scaled Accelerated Data Access(SCADA)Server SDK,为构建面向 AI 工作负载、更具互操作性的存储访问提供了两条路径。
xio-sig 与 SCADA 的新进展
NVIDIA 正在与 Google Cloud 和 Microsoft 合作,将 xio-sig 扩展到 cuFile 之外,新增 NVIDIA cuObject,并宣布 cuObject 客户端和服务器库正式可用。开发者可以借助 cuObject 的 API 和 RDMA 传输协议,构建加速的对象存储应用和服务器;而 xio-sig 则为 cuObject 客户端提供了与任何遵循该传输协议的服务端实现互操作的路径。
全新的 SCADA Server SDK 让存储厂商能够构建 SCADA 服务器,响应来自 SCADA 客户端的 GPU 发起请求。IBM 已通过集成 SCADA 与 IBM Storage Scale 的原型展示了互操作性。结合 xio-sig 的扩展,这些举措为 AI 开发者、存储厂商和云服务商提供了更多方式,通过共享的 API 和协议来构建和使用加速存储。
还有一类新兴的 AI 数据访问场景:由加速器发起的小而细粒度的 I/O 请求,既不适合传统存储介质,也不适合传统协议。通过 Storage-Next 计划,NVIDIA 正带领一个由 40 多家厂商和客户组成的联盟——包括 NAND 厂商、控制器厂商、存储服务商、超大规模云厂商和应用开发者——共同定义 GPU 驱动的存储应如何运作,并将这些成果转化为可互操作的开放行业标准。支撑高吞吐、细粒度、GPU 发起的存储访问的软件基础设施是 SCADA。关于开源 cuFile API、Storage-Next 和 SCADA 的 FMS 博客介绍了这些工作的背景。
cuObject support in xio-sig
cuObject 库正式发布后,AI 应用开发者、开源框架开发者、存储服务商和存储用户都能获得标准化的加速 AI 数据访问方法,同时支持文件和对象协议,如图 1 所示。AI 加速器可通过 RDMA 直接访问文件和对象存储,数据无需经过服务器 CPU 中转,从而在读写数据时获得更高吞吐、更低延迟,并降低 CPU 占用。
Google Cloud 目前是 xio-sig 中 cuFile 的维护者,正考虑进一步参与 cuObject 的工作,这体现了其对高性能云文件和对象存储的持续投入。Microsoft 也期待加入 xio-sig 董事会,共同提升存储 I/O 的互操作性。
xio-sig 进展
仓库结构已分别为 cuFile 和 cuObject 建立完毕。cuFile 和 cuObject 的头文件、cuObject 线上协议,以及 libxFile 的库实现代码和 xFilekernel 内核代码,将在生产就绪的技术栈通过一致性测试后共享。治理文档目前正在待定董事会成员的审核之中。
NVIDIA Storage-Next 与 SCADA 扩展
在 Storage-Next 计划中,全新的 SCADA Server SDK 让存储合作伙伴可以构建这样的服务器:接收来自 GPU 端 SCADA 客户端的请求,通过本地或远程存储完成处理,并经 RDMA 返回结果。该计划还包括 Storage Lender Service 以及用于配置和部署 SCADA 的命令行工具。这些组件支持存储厂商构建能与 SCADA 客户端互操作的服务器。
IBM Storage 已展示了一个原型:SCADA 客户端向其基于新版 SCADA Server SDK 构建的初版 Storage Scale SCADA 服务器发送请求。这表明存储厂商可以与 NVIDIA 携手,共同打造 SCADA 加速型、GPU 发起的存储访问生态,为语义搜索、推荐系统、欺诈检测等应用所需的大规模数据集访问奠定软件基础设施基础。
开始使用 cuObject 和 xio-sig
随着 xio-sig 扩展支持 NVIDIA cuObject,且 cuObject 相关库已全面发布,存储合作伙伴、提供商和使用方现在就可以开始使用 cuObject,并参与到社区在 cuFile 与 cuObject 可互操作 API 及协议方面的建设中来。
- 关注 xio-sig 仓库的更新动态
- NVIDIA 关于 xio-sig、cuFile 和 Storage-Next 的 FMS 博客
- NVIDIA 在 2024 OCP Summit 上的 SCADA 演讲
- 了解并试用开源的 Storage Lender Service
- GPUDirect Storage (GDS) 文档
- cuFile API 文档
- cuObject 文档
- cuObject Server 2.0.0 下载链接
- NVIDIA CUDA 13.4 预览版下载
软件产品信息请参阅相关声明。