← 文章 / 芯片硬件
NVIDIA 开发者博客 1小时前 · 2026-11-19 08:18:25 · 2 阅读

通过 K 点批处理与混合精度解决平面波 DFT 的 GPU 瓶颈

训练下一代机器学习原子间势(MLIP)需要基准数据:跨越多种结构和化学体系、数千万乃至上亿次密度泛函理论(DFT)能量、力和应力计算。 平面波 DFT 是生成这类数据的黄金标准,其主流实现是 VASP。它精度高,在各类材料上都经过了充分验证,而且在大规模运行这类计算的国家实验室和科研机构中被广泛使用。 随着 MLIP 训练数据集不断增大,更快、更省地生成 DFT 数据的压力也随之增加。但 MLIP 数据生成中常见的小晶胞和密集 k 点网格,往往导致 GPU 性能大量闲置。VASP 的 OpenACC 实现带来了可观的加速,尤其适合大体系计算。然而对小体系而言,k 点的串行处理限制了 GPU 利用率。与此同时,AI 负载正在推动 GPU 硬件向低精度数据类型演进,这使得现代 NVIDIA GPU 的实际能力与只针对 FP64 优化的 HPC 代码之间产生了越来越大的差距。 本文介绍解决这些瓶颈的两项 NVIDIA 新能力。第一项是 Daviator,通过 k 点和自旋批量化的 GPU kernel 解决小体系 GPU 性能问题,其中批量化的 Davidson 求解器带来了显著的性能提升。第二项是新的混合精度执行层,可进一步提速,尤其适用于 FP32:FP64 吞吐比高的推理级 GPU。 在一个参考数据集的预估负载下,结果显示:视硬件和配置不同,求解时间最多可缩短 22 倍,成本最多可降低 75%(相比 CPU 执行)。

平面波 DFT 中的 GPU 瓶颈

在周期性体系中,电子波函数以晶体动量为参数,即采样 Brillouin 区的一组离散 k 点。对于晶胞较小的周期性结构,往往需要数百到数千个不可约 k 点才能获得充分收敛的结果。

每个 k 点求解彼此独立,例如 Davidson 特征值求解步骤不需要跨 k 点通信。尽管具备这种独立性,VASP 的 OpenACC GPU 移植版仍以串行方式处理 k 点。对于大型体系,单个 k 点的计算量足以完全占满 GPU;但对于采用密集 k 点网格的小型体系,每步数百次小规模 GPU 任务调度会导致内核启动开销主导整体耗时。结果:一个包含单原子铁体系、752 个 k 点的计算,在更昂贵的 GPU 硬件上运行速度竟比 CPU 慢 8 倍。因此,在这个尺度下进行研究的人员不得不根据任务规模进行手动路由决策。

此外,平面波 DFT 传统上以 FP64 运行,这是一个保守的默认设置,确保了求解器流水线全程的精度。但 GPU 硬件在这方面不再对称。在数据中心 GPU 上,FP64 吞吐量在 NVIDIA Hopper、Blackwell 和 Rubin 系列中保持稳定,而 FP32 吞吐量持续增长。像 RTX PRO 6000 这类推理级和工作站 GPU 进一步放大了这一趋势,其 FP32:FP64 比率达到 64:1(图 1)。随着 AI 工作负载推动硬件向低精度数据类型发展,仅限 FP64 代码所能获取的 GPU 峰值吞吐量占比正在停滞。

Bar chart comparing FP64 and FP32 throughput across NVIDIA GPU generations. FP32 throughput increasingly outpaces FP64, with the gap most extreme on the RTX PRO 6000 at roughly 64x and Rubin at approximately 4x.
图 1. 不同 NVIDIA GPU 中 FP64 与 FP32 吞吐量的对比

Daviator:通过批处理 k 点实现 GPU 满载

Daviator 是由 NVIDIA 开发的一个 GPU 内核库,用批量 GPU 操作取代平面波 DFT 内部循环中逐 k 点的串行处理。其核心在于一个批量 Davidson 特征值求解器,它用批量 FFT、GEMM 和自定义内核替换了导致延迟的串行循环。这大幅减少了 GPU 内核启动次数,使 SM 占用率从部分容量提升至接近饱和。数据在整个过程中常驻于 GPU 内存。VASP 完整保留 SCF 循环、混合、对称性和 I/O 的所有权;Daviator 在设备端已有数据上通过明确定义的调用边界进行集成。

运行计算

Daviator 将通过 NVIDIA ALCHEMI VASP 微服务提供,只需在 INCAR 中设置 LDAVIATOR=True 即可启用。现有的 VASP 输入文件无需任何修改即可使用。下面的 POSCAR、INCAR 和 KPOINTS 是一个 k 点密集的金属体系的标准配置。

Daviator 会在内部拦截 Davidson 求解器(ALGO = Normal),并将其路由到批量化的 GPU 操作上执行。

POSCAR:

Fe1
1.0
   2.3017038599999999    0.0000000000000000   -0.8137751999999999
  -1.1508519300000000    1.9933340200000000   -0.8137751999999999
   0.0000000000000000    0.0000000000000000    2.4413256099999998
Fe
1
direct
   0.0000000000000000    0.0000000000000000    0.0000000000000000 Fe

INCAR:

ALGO = Normal
LDAVIATOR = True
EDIFF = 5e-05
IBRION = 2
ISIF = 3
ISMEAR = 1
ISPIN = 2
NBANDS = 12
NSIM = 6
LASPH = True
LMAXMIX = 4
LORBIT = 11
LREAL = False
LWAVE = False
MAGMOM = 1*5.0
NELM = 100
NSW = 3
PREC = Accurate
SIGMA = 0.05
KPAR = 1

KPOINTS:

Gamma-centred 30x30x30 mesh
0
Gamma
30 30 30

Daviator 的部分 GPU kernel 会针对实际遇到的批量大小进行专门化编译,首次使用时可能会触发一次编译。

为确保高效缓存,请在启动 VASP 之前在作业脚本中加入以下几行:

export CUDA_CACHE_PATH=/tmp/cudacache   # fast storage, not $HOME
export CUDA_CACHE_DISABLE=0             # make sure caching is on

最后,照常运行即可:

mpirun -np 1 vasp_std

目前,搭配 Daviator 的 VASP 仅支持单节点运行。多节点支持、非共线自旋体系(vasp_ncl)以及显式仅 Gamma 点运行(vasp_gam)的支持预计将在后续版本中发布。

结果

下面的基准测试将 Daviator 与 VASP 6.6.0 的 CPU 和 OpenACC 基线在 NVIDIA H100/H200 和 B200 上进行了对比。

四张柱状图,展示了在H100、H200和B200上,VASP CPU、OpenACC和Daviator在四种基准体系中的加速比。Daviator在所有系统和GPU世代中均持续优于两个基准,且在对k点密度高的小型体系中优势最为显著。
图2. 对比了原生 VASP OpenACC v6.6.0、VASP OpenACC(OpenMP/MPS,针对MPI进程数和OpenMP线程数两个参数进行优化)以及启用 Daviator 的 VASP 执行时间。

Daviator 克服了 OpenACC 移植版本的局限性;单个铁原子相对于 CPU 基线即可实现超过 2 倍的加速(见图 2)。在更高精度的泛函中,性能提升更为明显:LiFePO4 体系下 r2SCAN 泛函的 22 倍 Davidson 求解器加速,使得生产规模的 meta-GGA 计算得以采用更高精度。

对于 64 个原子的 Bi 掺杂 GaAs 等中等规模体系,启用 Daviator 的 VASP 将执行时间缩短了 85% 以上。即便是在 348 个原子、单 k 点的场景下,Daviator 相对于 OpenACC 和 CPU 基线仍表现出显著优势。Daviator 提升了各尺度体系的性能,刷新了此前的 SOTA,消除了根据体系规模在 CPU 和 GPU 之间调度任务的需求。

借助混合精度更进一步

Daviator 解决了 k 点瓶颈,但目前仍依赖 FP64 算术和存储。随着 GPU 硬件向低精度数据类型转变,支持混合精度的 HPC 代码有望从现有硬件中回收大量性能。

为了进一步提升吞吐量,尤其是在 FP32 与 FP64 吞吐量比例较高的 GPU 上,必须利用 FP32 单元,但开发混合精度 Davidson 求解器并非易事。Davidson 流水线中的各个 kernel 对精度的敏感度并不相同,若仅将每个 kernel 运行在 FP32 并与 FP64 结果对比,只能得到“通过/失败”的二元结论。

此外,某些失败模式具有隐蔽性。硬失败一目了然:求解器拒绝病态输入。软失败则不然:如能量漂移、收敛错误,或是乍看之下正常的发散 MD 轨迹。真正的混合精度要求精确掌握精度边界所在的每个位置。

通过使用一种尾数位和指数位均可配置的通用浮点类型,我们可以找出仍能产生正确结果所需的最小位数。下一节将介绍一套精度需求分析的通用流程,同样适用于其他代码。

弄清每个 kernel 的精确精度需求后,就能判断该把它切换到 FP32、改进实现使其落入 FP32 范围,还是保留为 FP64 孤岛。

具体实现高度依赖代码本身,但通常都需要以下几个组件:

  • 代码的插桩版本,使用尾数位和指数位可配置的通用浮点类型。
  • 一个运行脚本,以指定的精度设置和输入执行代码。
  • 一个对比脚本,将结果与参考值进行精度校验。
  • 一个筛选脚本,对每个 kernel 多次运行插桩代码:先逐步减少尾数位直到对比失败,再以可行的最小尾数位数为基础逐步减少指数位。
Bar chart comparing required mantissa and exponent bit counts across five reduction kernel implementations. Algorithm choice significantly affects precision requirements, with numerically stable implementations reducing mantissa bit requirements and bringing kernels into FP32 range
图 3. 用基于 Verificarlo 的上述分析流程测得的 reduction kernel 各实现所需的尾数位和指数位数量

搭建好这套流程后,每次代码变更后都应重新运行筛选,以跟踪精度需求的变化。不同 reduction kernel 实现所测得的精度需求各不相同(见图 3)。

结果取决于输入和对比阈值。在本例中,所有 kernel 都能通过简单的 FP32 运行测试(见图 4),但这样无法揭示数值特性。而基线实现在输入稍大或对比更严格时就可能失败。算法选择也可能带来额外的约束。

堆叠条形图展示了从 FP64 到 FP16 各种浮点格式中符号位、指数位和尾数位的占比。高精度格式分配更多位给尾数;低精度格式则缩减尾数宽度。
图 4. 典型浮点格式的内存布局

代码插桩可在三个层面进行:

  • 库层面:部分库提供可配置的精度,但范围有限。例如,cuBLAS 中的模拟矩阵乘法允许通过显式设置尾数位数来筛选 GEMM 的精度需求。
  • 语言层面:可以用通用类型替代原生浮点类型。NVIDIA CCCL 提供了这样的类型,支持编译期和运行期配置尾数与指数的位数。
  • 编译器层面:通过在编译时用软件实现替换浮点运算,可实现完全无侵入且主要自动化的插桩。Verificarlo 项目 采用此方法,其 VPREC 后端仅限于 CPU 代码。

完整的插桩还需覆盖依赖库和标准数学函数。插桩后的代码运行速度会显著变慢,但任务可大规模并行于 HPC 资源上执行。

要从分析过渡到实现,首先应在应用的热路径或其子集周围添加 FP64↔FP32 转换基础设施。然后,创建该区域内函数和内核的可配置类型版本。在初始实现中,超出 FP32 需求的部分保留为 FP64“孤岛”;随后的每次迭代可进一步缩小 FP64 的占比。

按这一流程,基于 Verificarlo 对 Davidson 算法的分析表明,代码的很大一部分可以用 FP32 进行运算和存储。FFT、哈密顿量的应用和轨道更新都用 FP32 运行,而子空间特征值问题、生成子空间矩阵的瘦高 GEMM,以及能量和收敛性指标仍保留 FP64。

Rayleigh-Ritz 投影中的瘦高 GEMM 是仅剩的 FP64 瓶颈。这里如果纯用 FP32 累加是不够的,因为输出会直接进入对数值精度敏感的特征值求解器。split-k 算法把点积分成 FP32 分块,最后用 FP64 累加一次,从而解决了这个问题(图 5)。

Two-panel diagram contrasting tall-skinny GEMM approaches. Left: naive FP32 accumulation over a large number of plane-wave terms, which risks precision loss. Right: split-K approach where the same multiplication is broken into chunks computed in FP32, then accumulated in FP64, preserving accuracy while capturing FP32 throughput.
图 5. a) 朴素的瘦高 GEMM:标量积会形成很长的 FP32 求和,需要 FP64 才能达到精度目标;b) 混合精度算法:先执行小的 FP32 GEMM,最后用 FP64 累加,所有矩阵均以 FP32 存储

结果

在 VASP 中,收敛由 EDIFF 参数控制,它指定离子步内各电子迭代之间总能变化量的阈值。低于该阈值即认为达到收敛。

默认值为 10-4 eV,有些计算会降到 10-6 eV 甚至更低。作为参考,FP32 大约能提供 7 位有效十进制数字的精度。EDIFF 是绝对阈值,随体系不同而变化,通常与原子数成正比,因此没有唯一的最优设置。

混合精度的 Davidson 实现可以根据输入收敛到 EDIFF 为 10-4 到 10-6 eV;继续用 FP64 运算则可以让计算收敛到 FP32 噪声底以下。在 GaAsBi-64 体系上,EDIFF = 10-5 eV 时 FP32 可实现 2 倍加速;而在 EDIFF = 10⁻⁸ eV 时,FP32→FP64 混合运行比纯 FP64 快 1.5 倍(图 6)。

翻译后的内容:
RTX PRO 6000 上 FP64、FP32 和混合精度自洽场(SCF)收敛性对比。仅使用 FP32 会在噪声水平处停滞;混合精度运行在第 15 次迭代时切换到 FP64,并收敛至 FP64 参考值。
图 6. RTX PRO 6000 上 GaAsBi64 的收敛轨迹对比

在 H100 和 H200 上,由于 FP64 Tensor Core 的吞吐量与 FP32 持平,混合精度带来的端到端收益微乎其微。这种优势主要体现在 FP32 与 FP64 性能比值较高的硬件上,例如 RTX PRO 6000。在该设备上,FP32 Davidson 求解器的速度提升 3 至 7 倍,从而实现约 2 倍的端到端加速(见图 7)。

柱状图展示了 OMat24 数据集上 VASP + Daviator 中 FP32 相较于 FP64 的预期加速比。H100、H200 和 B200 的收益可忽略不计;而 RTX PRO 6000 实现了 2.2 倍的加速,这反映了其远高于其他型号的 FP32 与 FP64 吞吐量比值。
图 7. 在不同 GPU 目标上,使用 Daviator 运行完整 VASP 任务时,FP32 与 FP64 的预测加速比。加速比为 OMat24 数据集中 13 个代表性输入样本的加权平均值

启用混合精度

Daviator 的混合精度功能可通过将 LDAVIATOR_MIXED_PRECISION 设置为 1 来启用(设为 0 则使用 FP64)。在单次离子步迭代中,计算初期采用混合精度(使用 FP32 存储),直到达到可配置的阈值 DAVIATOR_EDIFF_FP32,或完成指定次数的 SCF 步(由 DAVIATOR_SWITCH_TO_FP64_AFTER_STEP 控制)后才切换。对于大多数输入,LAVIATOR_EDIFF_FP32 在 $10^{-4}$ 到 $10^{-5}$ 之间表现良好。

以下 INCAR 参数可用于专门配置 Daviator 中混合精度的使用(表 1)。

INCAR 参数取值描述
LDAVIATOR_MIXED_PRECISIONFalse = FP64
True = FP32
启用/禁用混合精度(在 Daviator 中,True 表示采用混合算术运算和 FP32 存储)
DAVIATOR_EDIFF_FP32大于 0 的实数,单位为 eVFP32 模式下的 EDIFF 阈值
DAVIATOR_SWITCH_TO_FP64_AFTER_STEP整数 N >= 0,在第 N 个电子步之后切换为 FP64(N=0 表示始终使用 FP64)
-1 = 仅 FP32,即收敛到 DAVIATOR_EDIFF_FP32 后停止
-2 = 动态模式,即在 DAVIATOR_EDIFF_FP32 收敛后切换到 FP64控制离子步何时从降低精度切换到 FP64。
表 1. 在 Daviator 中启用和配置混合精度的 INCAR 参数

如果希望先用 FP32 计算到 EDIFF = 5-5 eV,再切换到 FP64 直到 EDIFF = 5-7 eV,INCAR 应如下设置:

ALGO = Normal
EDIFF = 5e-07
[...]
LDAVIATOR = True
LDAVIATOR_MIXED_PRECISION = True
DAVIATOR_SWITCH_TO_FP64_AFTER_STEP = -2
DAVIATOR_EDIFF_FP32 = 5e-05

硬件要求与可用性

需要 VASP 用户许可。通过 NVIDIA ALCHEMI VASP 微服务,Daviator 及其混合精度选项可在任何 NVIDIA GPU 上使用;只需添加上述 INCAR 参数即可启用。

两层优化带来的规模化收益

Open Materials 2024(OMat24)无机材料数据集包含超过 1 亿个 VASP 数据点(总能量、受力和应力),来自分子动力学(AIMD)、弛豫(rattled-relax)和静态(rattled)计算,用于 MLIP 的训练与验证。

为估算计算该数据集所需的时间和成本,我们根据数据集体系规模分布中 13 个代表性输入的基准测试结果进行外推。各基准测试均经过调优以最大化资源利用率和整体吞吐量,并假设每个节点上并行运行多个任务。虽然 OMat24 数据集是使用实空间投影生成的,但这里的基准测试和推算采用的是 VASP 中更精确的倒空间投影设置(INCAR:LREAL=False)。

在相同数量的云实例上,VASP + Daviator 比 CPU 节点上的 VASP 最快可提速 22 倍,比不带 Daviator 的 GPU 版 VASP 最快可提速 7 倍(图 8)。对于一个 GPU 上批量处理 8 个小体系的场景,NVIDIA ALCHEMI VASP 微服务还能将吞吐量再提升 3–5 倍。

柱状图:比较完成 OMat24 数据集所需的预计实例时长,覆盖 CPU 与不同 GPU 配置。与 CPU 基线相比,VASP + Daviator 最多可将计算量降低 22 倍,性能远超 OpenACC。在 H100、H200 和 B200 上收益表现一致。
图 8. 在不同硬件目标上,使用 VASP 配合或不配合 Daviator,分别在 FP64 和 FP32 精度下处理 OMat24 数据集的预计运行时长(单位:百万云资源实例小时)

为了估算生成该数据集的成本,我们取了 AWS、Azure、CoreWeave 和 Google 按需服务价格的几何平均值。在数据中心 GPU 上,VASP 现有的 OpenACC GPU 支持成本反而高于对应的 CPU 计算。

然而,结合 Daviator 后,在 H100/200 和 B200 上成本可降至 CPU 成本的约 35%,其中混合精度额外带来高达 20 万美元的节省。整体最低价格点——约为 CPU 成本的 25%——出现在使用 VASP + Daviator 且采用 FP32 的 RTX PRO 6000 上(图 9)。

柱状图:比较 OMat24 数据集的预计云成本。在数据中心 GPU 上,OpenACC 的成本通常高于 CPU。VASP + Daviator 在所有 GPU 代际上均显著降低成本,其中 RTX PRO 6000 配合 FP32 达到整体最低价格点。
图 9. OMat24 数据集的预计云成本(单位:百万美元)

GPU 原生 DFT 的下一步

对于标准 DFT 而言,GPU 如今已成为 VASP 的首选方案。对于旨在构建 OMat24 及更大规模 MLIP 训练管线的团队,VASP + Daviator 提供端到端的 GPU 原生工作流,相比 CPU 可节省 60–75% 的成本,处理 OMat24 规模的数据集大约能省下 500–600 万美元。

原始来源: NVIDIA 开发者博客

评论 (0)