Nature封面 | 面向流体动力学的强化学习平台，华盛顿大学等提出HydroGym

编辑丨coisini

对流体的有效控制对于交通运输、能源和医学领域至关重要，因为它可以增加升力、减少阻力、增强混合并衰减噪声。先进的流体控制系统能够在全球范围内显著提升能源效率，例如通过主动减阻使航空业的燃料消耗降低多达 15%，通过协同控制使风电场输出提高 4–5%。

然而，流体以难以控制而著称，因其涉及高维、非线性和多尺度的动力学，难以用传统方法应对。

强化学习（RL）近期的突破已在日益复杂的科学应用中展现出变革性能力，但流体动力学缺乏共享基准和标准化环境，因此每个控制器通常只针对单一几何形状和运行条件进行调优，使得进展难以积累、迁移和比较。

为此，来自华盛顿大学、密西根大学等的研究团队提出 HydroGym，一个与求解器无关的强化学习平台，提供 60 多个经过验证、公开可用的流动控制环境，涵盖从经典层流到复杂湍流。研究论文以《The HydroGym reinforcement learning platform for fluid dynamics》为题登上了最新一期《Nature》封面。

                ^{论文地址：https://www.nature.com/articles/s41586-026-10917-6}

HydroGym

作为一个面向流体控制研究的强化学习平台，HydroGym 建立了领域亟需的基础设施，用于通用环境、接口和算法评估。

具体来说，HydroGym 提供 61 个经过验证的流动控制环境，涵盖从经典层流到先进三维湍流场景，以及跨流态的雷诺数（Reynolds number）递进。

在这些环境中，智能体反复发现稳健的控制原理，包括边界层操控、声学反馈的破坏以及湍流尾迹的重组。

该研究展示了零样本迁移的概念验证，其中完全在廉价替代环境（surrogate environment）中训练的智能体被部署到具有挑战性的现实场景中，如三维翼型段。该研究实现了局部表面摩擦阻力降低 38%，同时与直接在翼型上优化相比，探索成本降低了四个数量级。

值得注意的是，HydroGym 的求解器多样性有助于弥合流体研究中彼此迥异的尺度：集成了基于 Python 的有限元求解器，以便于原型开发；用于大规模流动的，高度并行 GPU 加速的格子玻尔兹曼与有限体积求解器；完全可微求解器，以促进梯度感知学习。

HydroGym 解决了阻碍强化学习变革流体动力学控制的根本瓶颈：在昂贵的 CFD 模拟上训练有效策略的计算不可行性。

系统性流动控制

该研究通过考虑四种基准构型来讨论基线性能指标，这些构型使用了工业标准 RL 算法：近端策略优化（PPO）、深度确定性策略梯度（DDPG），以及双延迟深度确定性策略梯度（TD3）。

RL 智能体仅通过交互就能自主发现并利用复杂的物理机制。它们成功地将有害的分离流动转化为受控的、有组织的状态，同时最小化驱动控制，验证了 HydroGym 在基础物理研究和实际控制设计中的实用性。

该研究表明深度强化学习能够学习到可迁移的控制策略，至少在共享近壁湍流物理的构型之间是可行的。这种方法绕过了直接进行高雷诺数训练的计算瓶颈，为工业规模控制解锁了可能。

当然，这种可迁移性是否能够扩展到更广泛的流体力学系统仍是一个开放问题。但研究团队希望标准化环境能够像 ImageNet 变革计算机视觉那样，加速流体控制中的算法开发。

感兴趣的读者可以阅读论文原文，了解更多研究内容。