如何检查与配置你平台上的 NVIDIA GPUDirect Storage
NVIDIA GPUDirect Storage(GDS)可加速本地和云环境中的 GPU 存储访问。它在 NVIDIA GPU 与存储目标之间提供了一条稳定、可移植且高效的数据通路,能够提升带宽、降低延迟、减少 CPU 和内存占用,并广泛适用于各类平台、应用框架和工作负载模式。
配置 NVIDIA GPUDirect Storage 的第一步是了解你的环境:哪些设置和存储路径适合你的平台和工作负载?官方提供了详尽的文档,介绍如何对受支持的架构和存储方案进行配置和排障,但你仍需要自行梳理这些信息,并优化自己的部署。
gds-diag 工具由 GPUDirect Storage 团队开发,旨在简化 GDS 的配置和优化。它是一款简洁的开源命令行工具,能够评估环境、发现问题并提出改进建议,帮助你充分发挥 GDS 部署的价值。
它还附带一个可选的 agent skill,提供自然语言接口和编排层。这个 skill 会理解你的意图,选择并调用相应的子命令,协调多步骤的诊断流程。除了命令选择和路由之外,它还为 gds-diag 增加了基于模型的推理能力:可以解读诊断结果,结合相关系统上下文,提出或执行相应的修复措施。
本文将介绍如何通过命令行界面或 agent skill 上手使用 gds-diag。
下载与安装
使用 gds-diag 需要一台装有 Python 3.8 或更新版本的 Linux 系统。GPUDirect Storage 要求 NVIDIA 数据中心级 GPU 和 NVIDIA CUDA Toolkit 12.2 或更新版本,但这些并非 gds-diag 本身的依赖。
gds-diag 随 NVIDIA Magnum IO GitHub 仓库一起发布,无需安装其他依赖。在准备运行它的机器上执行 git clone https://github.com/NVIDIA/MagnumIO.git 克隆仓库,然后选择以下一种使用方式:
- 命令行工具:提供确定性、低依赖的 GDS 部署诊断路径。进入
gds-diag目录,运行gds-diag.py --help,然后参照命令行使用指南操作。
- AI agent:提供最直观、灵活的交互式自然语言诊断方式,同时保留了底层命令行工具的可靠确定性。在常用的 AI 编码助手中打开
gds-diag目录,按照 Agent skill 使用指南操作即可。
小提示:如果环境中可用,推荐使用 AI agent 模式。gds-diag 已在 Claude 和 Codex 上完成验证,其他工具或许也能使用。 |
|---|
命令行用法
gds-diag 命令行工具是一个单一的 Python 脚本,包含多个子命令,可专注于不同的诊断任务。运行 ./gds-diag.py --help 即可查看可用子命令。
如需了解特定子命令的详细信息,请运行 ./gds-diag.py <subcommand> --help。
小贴士:不知道从何入手?只需运行 ./gds-diag.py all /path/to/check,gds-diag 就会自动针对该路径执行完整的诊断序列。 这适用于裸机、虚拟机和容器环境。 |
|---|
图 2 将可用子命令分为四类。
根据部署阶段或需要排查的问题,选择合适的诊断类别。
- 端到端检查:使用
all自动选择适合当前环境的诊断项并按顺序执行。 - 安装前准备:使用
pre-install检查 GPU 支持和 CUDA Toolkit 安装情况。使用support-matrix查看受支持的存储目标并规划部署。 - 安装验证:使用
post-install检查 GDS 是否安装正确并识别阻碍因素。使用config-audit检查影响 GDS 行为的配置文件和环境变量。 - 深度诊断:使用
container-check评估容器环境(包括 containerd、Docker、Enroot 和 Kubernetes)对 GDS 的支持情况。使用mount-check诊断特定的挂载点或目录。
gds-diag 检查结果的结构
大多数 gds-diag 子命令的输出是一组按章节分组的检查结果,如图 3 所示。
每个检查结果和每个章节都有一个状态标识。
- “FAIL”表示硬性阻碍。
- “WARN”表示潜在阻碍。
- “INFO”传达值得注意的信息。
- “PASS”表示状态正常,仅在使用
--verbose选项时显示。
每条检查结果都包含一段说明和相应的缓解方案。gds-diag 不会自行执行缓解方案或对系统做任何修改。它的职责是发现问题和优化机会,帮助你或管理员进行改进。输出中可能包含多个章节(以及各章节内的多条检查结果)。
小提示:也可以使用 --json 命令行选项,以结构化 JSON 数据的形式输出所有诊断报告。如果你想将结果导入其他工具,或存档以便日后查阅,这会很有用。 |
|---|
大多数子命令的结构都相同,但 gds-diag.py support-matrix 是个例外:它以带脚注的表格形式输出结果。该子命令用于显示 GDS 支持哪些平台组合。
使用 --static 选项可查看一般性数据(如图 4 所示),或使用 --live 选项来纳入系统当前配置的信息。
绿色标记表示完全支持,黄色标记表示支持但存在架构或配置方面的限制,红色标记表示不支持。
小提示:大多数分布式存储厂商在 Linux 操作系统层面都会把自家文件系统呈现为 nfs 或 nfs4,因此支持矩阵中这一行覆盖了相当广泛的产品支持范围。 |
|---|
命令行演示
举个例子:假设你要为生产部署准备一份新的或修改过的 GDS 配置文件,这时 config-audit 子命令就是理想选择。不带任何参数调用时,它会审计当前生效的配置,包括静态配置文件和动态环境变量修改项。下面的示例使用 --config 选项来指定要审查的候选配置。
配置审计揭示了配置文件中的拼写错误。修正该错误后,config-audit 会确认配置有效,并提供额外的提示信息。
使用 Agent 技能
当你使用 Claude 或 Codex 等编程助手打开 gds-diag 仓库时,gds-diag 的 Agent 技能会自动激活。
快速提示: 你也可以在编程助手中使用 /gds-diag 关键词显式激活该技能,但这并非必须。如果询问有关 GDS 的自然语言问题,系统会自动将其作为合适的技能调用。 |
|---|
该技能不会尝试重复 gds-diag 命令行工具已提供的确定性检查。相反,其主要作用是在 gds-diag 子命令之间进行路由辅助,并解读其输出。以下是使用该技能可能提出的几个查询示例:
- 该系统是否支持使用 GDS?
/mnt/data是否可用 GDS?- 如何最优配置 GDS 以访问
/mnt/data? - GDS 当前使用的是哪些配置文件?
- 是否有任何配置参数需要更新?
- 哪个 NVMe 设备与 GPU3 的本地性最佳?
Agent 是 gds-diag 的能力倍增器;你可以追问细节,甚至要求 Agent 代为实施缓解措施。
Agent 技能演示
图 6 展示了如何将 gds-diag 的 Agent 技能与模型固有的推理能力相结合,以诊断容器配置问题。本示例使用 Anthropic Claude Code CLI。
在这个例子中,agent 会检查用于启动容器的 shell 脚本,并确定最适合使用哪个 gds-diag 工具来排查问题。随后它会根据排查结果提供修改脚本的选项,并确认解决方案。需要注意的是,编码助手会遵循你的本地设置和站点策略,来决定哪些操作需要确认。
开始使用
在排查 GPUDirect Storage 的配置和优化问题时,可以先把 gds-diag 作为首选诊断工具。它的模块化设计也为后续更多诊断功能打下了基础,比如网络传输、对象存储系统和应用框架的检查。
你有想要贡献的诊断检查项或文件系统支持吗?我们非常欢迎并鼓励社区贡献。源代码和 agent 技能均已以开源许可证发布(Apache 2.0 和 Creative Commons Attribution 4.0 International)。请参阅贡献者指南开始上手。