奇链 奇链
← 文章 / AI技术
HuggingFace博客 3小时前 · 2026-10-21 02:52:09 · 2 阅读

NVIDIA Cosmos3-H-Dreams：生成式模拟赋能临床手术

想象一下：在一个实时响应的生成式手术场景中，移动 Cadiere 抓钳、夹住胆囊并将其提起。今天，我们向前迈出新的一步，推出 Cosmos3-H-Dreams，以迄今为止最逼真的体内影像，将交互式生成式模拟带入临床手术在视觉与操作流程上的复杂环境。 我们的首个 Cosmos-H-Dreams 版本基于 Cosmos-Predict2.5 构建，将交互式生成式模拟引入 dVRK 桌面缝合——手术机器人领域的基础试验场。作为世界基础模型（WFM），Cosmos-H-Dreams 展示了一种不同于数值模拟的思路：它不显式建模场景几何、组织形变和物理交互，而是直接从同步的视频与机器人运动学数据中学习视觉动态，从而实现高度逼真的交互式桌面任务模拟。 今天，Cosmos3-H-Dreams 将这一能力继续推进，它从 CMR Surgical Versius 平台临床手术过程中录制的视频与机器人运动学数据中学习。据我们所知，这是首个基于临床胆囊切除术录像训练、并支持实时运动学控制的生成式手术模拟器。它由 Cosmos 3 驱动，并借助 NVIDIA 的加速流式推理库 FlashDreams 提速，可在单张 NVIDIA RTX PRO 6000 GPU 上交互式运行。

  1. 从桌面任务到临床场景

在 Cosmos-H-Dreams 这类受控的桌面环境中，器械操作的背景相对简单。而在人体内部，器械的微小移动就可能影响整个场景：组织在牵拉下伸展，反光随之变化，结构被遮挡，烟雾改变可见度。生成式模拟器需要在给定初始图像和工具动作的条件下，在生成每一段新视频时捕捉这些响应，同时保持解剖结构与器械的一致性。微小误差会随时间不断累积，逐渐改变器械的几何形态或解剖结构，因此时间上的一致性至关重要。

视觉真实度只是验证的起点，而非生物力学准确性的证明。生成的场景同样需响应控制指令：平移、旋转及夹爪命令应产生连贯的解剖学后果。那些看似合理却无视指令的输出，无法作为交互式环境使用。

要在实时控制循环中维持这种保真度与响应性，必须依赖低延迟生成。Cosmos3-H-Dreams 通过针对临床胆囊切除术专门优化并用于实时生成的模型来应对这一需求，将基于动作的交互引入包含复杂解剖结构、组织运动及遮挡关系的场景中。

  1. Cosmos3-H-Dreams 有什么新特性？

2.1 基于 Cosmos 3 架构与更丰富手术控制

Cosmos3-H-Dreams 构建于 Cosmos3-H-Embodied-Nano 之上，这是一个在 Open-H-Embodiment 上预训练的 160 亿参数模型。我们在精选的胆囊切除术视频及运动学数据上专门化了一个双向教师模型。样本选择聚焦于两个可见且处于操作状态的器械（左侧 Cadiere 抓钳和右侧单极钩），并限制相机指令，以突出由器械驱动的交互。

该模型使用 28 维动作空间：涵盖双臂的姿态与夹爪信息，以及能量控制、摇杆轴和摇杆按钮。训练采用 832 x 480 分辨率的视频，动作对齐频率为 10 Hz；该采样率区别于运行时的生成吞吐量。

2.2 从教师模型到四步与两步学生模型

Cosmos3-H-Dreams 结合了专为长序列自回归输出设计的教师-学生训练管线，以及通过 FlashDreams 实现的加速流式推理。

我们首先在 24 帧未来预测上适配双向教师模型，随后将时间窗口扩展至 72 帧，即 10 Hz 下的 2.4 秒和 7.2 秒。这使教师模型能在更长序列中学习手术动力学。

接下来，蒸馏过程将双向教师模型转化为因果学生模型，使其能够随着新动作的输入以短块形式生成视频。因果教师强制训练利用记录的上下文为学生模型的顺序生成做准备。Self-Forcing 则基于模型自身生成的上下文进行训练，由教师模型和学到的评判器进行引导。这有助于解决交互式展开过程中出现的累积误差。

首个发布的版本每生成一个视频块使用四次去噪步骤。我们随后采用两步调度对该模型进行进一步训练，以生成第二个版本检查点。需要注意的是，两步模型是独立训练的，而非简单地将四步模型减少采样步骤运行得到的。

减少去噪步骤会降低视觉质量，但能缩短推理时间。这两个版本让开发者能够自行权衡视觉质量与推理成本。

2.3 通过 FlashDreams 实现流式传输

FlashDreams 提供了加速的流式运行时环境。长时展开还需要管理模型的注意力历史。Cosmos3-H-Dreams 集成使用了经过调整的 FadeMem 模块，在长时展开过程中对不断增长的 key/value 缓存进行整合。这与 Self-Forcing 形成互补：蒸馏解决了模型如何从生成历史中学习的问题，而缓存整合解决了流式生成过程中该历史如何存储的问题。

  1. 探索未见轨迹

临床手术中可能会出现并发症，或者留给外科医生进行“新颖”操作的空间。因此，模拟器必须能够泛化到训练数据之外，并为未见过的动作生成连贯的帧。以下演示展示了 Cosmos3-H-Dreams 基于 VR 头显记录的手术器械动作，生成不同胆囊切除术场景的过程。

这两个视频以相同的初始帧开始，但遵循不同的动作序列，展示了器械控制如何引导同一场景走向不同的后续发展，并产生物理上准确的组织形变。

此外，这些展开过程让我们能够检查器械是否遵循控制指令，组织对交互的响应是否连贯，以及解剖结构和器械的外观在时间维度上是否保持一致。

  1. 适配自有数据与控制器

Cosmos3-H-Dreams 提供胆囊切除术（cholecystectomy）的四步和两步模型检查点。系统也可以迁移到其他数据集和应用场景，只要视频同步且有兼容的动作表示即可。如果想在自定义数据集上训练实时学生模型，我们在这份分步指南中提供了完整的 teacher 微调与 Self-Forcing 蒸馏方案，涵盖数据准备、公开的 teacher 训练工具以及蒸馏各阶段。接入控制器时必须使用与训练时相同的动作约定和归一化方式。

  1. 下一步计划

视觉真实感方面的进展为多个研究方向打开了大门：

  • 对完整手术流程建模。扩大覆盖范围并提升时间一致性，使胆囊切除术的各个阶段都能被系统地探索，并具备清晰的任务边界和成功标准。
  • 打通生成式仿真与数值仿真。将习得的视觉真实感与显式的几何、接触及组织力学相结合。数值模型和实测数据可以帮助约束和验证形变，让仿真不仅逼真，而且行为可检验。
  • 由外科医生参与评估。评估解剖结构的准确性、器械行为和组织反应，把专家反馈转化为可复现的基准。
  • 支持更多手术器械。突破仅控制两件工具的限制，实现更丰富的协调、遮挡与交互。
  • 开发自主手术策略。将世界动作模型与 Cosmos3-H-Dreams 以闭环方式结合，让策略能够学习预定义的胆囊切除子任务。

以上均为研究方向，而非已成熟的临床能力。Cosmos3-H-Dreams 是一个研究用的手术仿真器，不是经过验证、可用于患者诊疗的系统。它为在日益真实的环境中研究手术交互提供了基础。

  1. 立即上手

探索 Cosmos3-H-Dreams 背后的模型、数据和运行时：

带上你的控制器、轨迹和研究问题，我们期待看到社区在这些全新手术世界中构建的成果。

原始来源： HuggingFace博客

评论 (0)