← 文章 / AI技术
NVIDIA 开发者博客 5天前 · 2026-11-17 02:13:35 · 15 阅读

对 NVIDIA Nemotron 进行后训练,提升科学领域准确率

智能体 AI 正在重塑科研与创新的范式。研究人员可以用自然语言描述复杂的科学假设,让自主智能体独立规划任务、执行模拟、评估结果,并在多轮迭代中自我修正。科学智能体正在承接更长、更复杂且日益视觉化的工作流。

精准度与推理效率至关重要。缺乏验证机制,误差会随工作流层层累积;持续运行则会导致延迟和计算成本成倍增长。

NVIDIA Nemotron for Science 旨在突破上述瓶颈。它是一组用于加速智能体科学工作负载的模型、数据集、工具和配置方案合集。其中包含 Nemotron 3.5 Super VL——一个专为特定工作流设计的开源、可定制的多模态模型,以及 NVIDIA Nemotron Litmus-Bench V2.0——一个开源的化学推理数据集与基准,旨在训练和评估大语言模型(LLM)及智能体 AI 在分子性质方面的表现。开箱即用,Nemotron 在科学基准测试中即可交付前沿水平的准确率(见下文图 1),同时实现科学编码任务的最快求解时间。

四款模型在11项科学基准测试中的图表:Nemotron 3.5 Super VL 在七项中领先,包括 ChemBench(75.9)和 ether0(39)
图 1. Nemotron 3.5 Super VL 在多项科学基准测试中的准确率结果(数值越高越好)

Nemotron 模型的一大优势在于支持 NVIDIA 的后训练(post-training)。您可以针对特定研究领域定制模型,以提升准确率。

本博客提供了一套实用的操作方案,介绍如何针对科学场景对 Nemotron 3.5 Super VL 进行后训练。从一份原始实验数据集出发,你将了解如何使用 NVIDIA NeMo Gym 构建自定义强化学习(RL)环境、应用 RL,并通过分子相似度评分来衡量提升效果。NeMo Gym 提供环境基础设施,NVIDIA NeMo RL 提供后训练框架。

本指南以药物代谢预测为实际示例:给定母体化合物(起始分子)及其转化酶,模型预测生成的代谢物。以下示例使用 MetxBioDB 中的记录,该数据库收录了大量经实验验证的生物转化反应。

本博客首先介绍直接 RL,然后介绍一个可选的蒸馏步骤——当有教师模型能提供有用示例时,可在 RL 之前使用。

基于实验数据构建强化学习环境

起点是一份包含现有实验记录的 CSV 文件,例如序列、SMILES 字符串、反应条件,以及与实测属性或结果配对的其他元数据。在本示例中,分子结构用 SMILES 字符串表示——这是一种描述分子原子和化学键的文本记法。

这些输入输出对被重新格式化为问答或 user/assistant 提示对,实验测得的真实值则作为验证器,用来给模型的响应打分。这种设置构成了一个基于可验证奖励的强化学习(RLVR)环境,无需人工偏好标注:奖励信号直接来自数据。

奖励信号的精细程度可以根据任务灵活调整。一个简单的序列相似度函数就能充当轻量级验证器;而更复杂的工具,比如化学信息学库、分子模拟器,甚至一个实时自主实验室,都可以作为工具调用接入,作为环境的评分层。工具越丰富,模型就越能被精准引导到具有化学或生物学意义的输出上。

在代谢案例中,模型接收母体分子和酶,随后提交预测的代谢产物。验证器使用 Tanimoto 相似度比较预测与参考的分子指纹——即结构特征的数值表示。Tanimoto 相似度是一种衡量两个集合或二进制向量重叠程度的指标,计算方式为交集大小除以并集大小。对于此处使用的位指纹,得分范围为 0 到 1;分数越高,表明指纹相似度越高。

A diagram: CSV experimental data becomes Q&A pairs with a verifier reward, then GRPO and LoRA training produces a tuned Nemotron.
图 2. Nemotron 3.5 Super VL 的后训练流程

在自定义环境中进行直接 RL 后训练

环境搭建就绪后,使用低秩适配器(LoRA)结合组相对策略优化(GRPO)对模型进行微调。该环境向模型提供实验输入,要求其逐步推理,并通过工具调用提交预测答案。验证器自动对每次提交进行评分,提供密集且无需额外标注的奖励信号。由于训练循环、奖励服务器、测试框架及 rollout 工作节点完全自包含,该流程可泛化至任何能返回标量奖励的领域。

在药物代谢 RLVR 环境中,设置 16,384 个 token 的输出预算,监督微调(SFT)使 Nemotron for Science 的准确率提升了 12%,而随后的 RL 后训练又进一步提升了 17%。这表明,即使是高度指令微调的模型,在针对特定领域任务提供目标性 RL 反馈时,仍能获得显著提升。

在药物代谢预测任务上对 Nemotron 3.5 Super VL 进行后训练前后平均 Tanimoto 相似度对比的图表。分数越高,表示预测代谢物与参考代谢物之间的分子相似度越高
图 3. 图表展示了对 Nemotron 3.5 Super VL 进行后训练前后的平均分子相似度。

用更强模型的蒸馏作为 RL 的“热启动”

如果基础模型在 RL 训练前能力不足,或者 RL 收敛速度慢,蒸馏环节可以带来显著提升。用一个更强的教师模型(比如更大的前沿模型或领域专精模型)在相同环境下运行,生成高质量的推理轨迹。所谓高质量推理轨迹,是指教师模型在识别酶、预测反应位点、推导代谢物结构时的逐步推理逻辑,最终得到的 SMILES 与真实代谢物一致。即使推理看起来流畅合理,只要逻辑存在瑕疵导致预测错误,就是低质量的推理轨迹。

这些高质量推理轨迹用于通过 SFT 或直接的 on-policy 蒸馏来微调学生模型,让它在进入 RL 循环之前就有一个好得多的起点。这就是所谓的“热启动”(warm-start),通常能加快收敛速度、抬高性能下限,让后续的 RL 训练更高效,也更有可能找到强策略。

面向 SFT 的数据蒸馏

蒸馏流程让 Anthropic 的 Claude Sonnet 5.5 在整个训练集上运行,按每次输出的(通过工具调用计算的)Tanimoto 相似度对照真实代谢物打分,只保留模型答对的(问题,推理轨迹)对,作为小型模型的 SFT 语料。

在此环境中,我们从 1,934 条训练提示中筛选出 1,123 条高质量推理轨迹,筛选标准是 Tanimoto 相似度阈值 ≥ 0.7。以下展示了一条由 Claude Sonnet 5.5 生成的简化推理轨迹。请注意,每个请求都包含固定的系统提示,但可根据不同环境进行调整。LLM 请求以聊天消息形式格式化,同时包含问题和系统提示。

MetxBioDB 环境(CYP1A2 N-脱甲基化)

问题:

母体化合物 SMILES: Cc1nn(C)c(Cl)c1C(O)=Nc1cccc2c1C(C)OC2(C)C 代谢酶:CYP1A2 请逐步推理这一生物转化过程,然后调用 submit_metabolite 提交主要代谢产物的预测 SMILES。

参考答案:

Cc1[nH]nc(Cl)c1C(O)=Nc1cccc2c1C(C)OC2(C)C — Tanimoto 相似度 = 1.0(完全匹配)

系统提示:

你是一名专注于药物代谢的计算化学专家。你的任务是预测给定母体化合物在特定酶或酶家族生物转化下产生的代谢产物的 SMILES 字符串。响应格式:1. 提供逐步的科学推理:a. 识别母体化合物中与酶相关的官能团。b. 描述酶已知的反应机制和区域选择性。c. 确定具体的生物转化位点并解释原因。d. 描述施加的化学转化(例如羟基化、葡萄糖醛酸化)。e. 说明母体 SMILES 的最终结构变化。2. 最后通过调用 submit_metabolite 工具提交你预测的代谢产物 SMILES。规则:- 传递给 submit_metabolite 的 SMILES 必须有效、规范且代表化学上正确的代谢产物——参数中不得包含额外文本。- 应用对指定酶典型反应机制的知识(例如 CYP450 羟基化/氧化、UGT 葡萄糖醛酸化、SULT 硫酸化、MAO 脱氨基、NAT 乙酰化等)。- 如果列出多个酶(以分号分隔),请使用它们对底物联合作用或最可能的反应。

推理轨迹(Claude Sonnet 5.5):

a. 与 CYP1A2 相关的官能团:母体结构含有一个 N-甲基吡唑(环氮原子上连有 N–CH3)。CYP1A2 以对芳香胺和 N-烷基杂环进行 N-去甲基化而著称,其机制是先在 alpha 碳上羟基化,随后半缩醛胺分解。b. 酶的作用机制:CYP1A2 从 N-甲基碳上夺取一个氢(N–CH3 → N–CH2•),随后氧回弹生成 N–CH2OH;半缩醛胺自发分解,释放出游离的 N–H 和甲醛。c. 生物转化位点:吡唑上的 1-甲基(N1-CH3)是主要目标。C3-甲基连接在碳上而非氮上,反应活性低得多。d. 化学转化:N-去甲基化:–N(CH3)– → –NH–,脱去 CH2O。e. 结构变化对应的 SMILES:原始 N-甲基:Cc1nn(C)c(Cl)c1… ← nn(C) 中的氮失去 CH3 产物:Cc1[nH]nc(Cl)c1… ← 变为 [nH]

工具调用:

submit_metabolite({"smiles": "Cc1[nH]nc(Cl)c1C(O)=Nc1cccc2c1C(C)OC2(C)C"})

上手代码

下面的配方来自 nemo-rl 和 nemo-gym 训练模块。每个代码片段都是独立可运行的,只需替换相应的配置即可适配到新领域。

NemoGym 环境注册

以下代码片段从一份实验 CSV 数据注册一个 NemoGym RLVR 环境。注册环境需要四个步骤。

1. CSV 转 Gym JSONL

CSV 的每一行对应一条 JSONL 记录。额外的键(此处为 ground_truth_smiles)会传递给服务器的 seed_session 并进行校验。

import csv
import json

SYSTEM = open("system_prompt.txt").read()
TOOLS = [{
    "type": "function",
    "name": "submit_metabolite",
    "strict": True,
    "description": (
        "Submit your predicted metabolite SMILES. Returns validity and Tanimoto"
        " similarity (0-1)."
    ),
    "parameters": {
        "type": "object",
        "additionalProperties": False,
        "required": ["smiles"],
        "properties": {
            "smiles": {
                "type": "string",
                "description": "Predicted metabolite SMILES (no extra text).",
            }
        },
    },
}]

with open("train.jsonl", "w") as f:
    for r in csv.DictReader(
        open("metxbiodb.csv")
    ):  # columns: parent_smiles, enzyme, reaction_type, metabolite_smiles
        user = (
            f"Parent compound SMILES: {r['parent_smiles']}\nMetabolising"
            f" enzyme: {r['enzyme']}\n\nReason through this biotransformation"
            " step by step, then call submit_metabolite with the predicted"
            " SMILES of the primary metabolite."
        )
        f.write(
            json.dumps({
                "responses_create_params": {
                    "input": [
                        {"role": "system", "content": SYSTEM},
                        {"role": "user", "content": user},
                    ],
                    "tools": TOOLS,
                },
                "agent_ref": {"name": "metxbiodb_simple_agent"},
                "parent_smiles": r["parent_smiles"],
                "enzyme": r["enzyme"],
                "reaction_type": r["reaction_type"],
                "ground_truth_smiles": r["metabolite_smiles"],
            })
            + "\n"
        )

2. 资源服务器:resources_servers/metxbiodb/app.py

这是唯一的领域特定代码,包含三个部分:

  • Seed_session 在每个会话中存储真实标签(ground truth)。
  • submit_metabolite 工具端点使用 Morgan-fingerprint Tanimoto(半径 2,2048 位)对首次提交进行评分。
  • Verify 将该分数作为奖励返回。

它还需要一个包含 rdkit 的 pyproject.toml。若要将其适配到新领域,请替换 tanimoto_similarity 和工具 schema。

3. 注册文件 yaml

metxbiodb:
  resources_servers:
    metxbiodb:
      entrypoint: app.py
      domain: knowledge
metxbiodb_simple_agent:
  responses_api_agents:
    simple_agent: 
      entrypoint: app.py    
      max_steps: 2  # 提交一次后进入一个收尾回合;只有第一次提交会计分
      resources_server: {type: resources_servers, name: metxbiodb}
      model_server:     {type: responses_api_models, name: policy_model}
      datasets:
        - {name: train,      type: example, jsonl_fpath: data/train.jsonl}
        - {name: validation, type: example, jsonl_fpath: data/validation.jsonl}

agent 名称必须与 JSONL 行中的 agent_ref.name 一致。

4. 在 trainer 配置中接入

data:
  train:      {dataset_name: NemoGymDataset, data_path: data/train.jsonl}
  validation: {data_path: data/validation.jsonl}
  default:    {dataset_name: NemoGymDataset, env_name: nemo_gym, processor: nemo_gym_data_processor,
               prompt_file: null, system_prompt_file: null}
  nemo_gym:    
    metxbiodb_simple_agent:
      datasets:
        train:      {jsonl_fpath: data/train.jsonl}
        validation: {jsonl_fpath: data/validation.jsonl}
env:    
  should_use_nemo_gym: true
  nemo_gym:
    config_paths:
      - responses_api_models/vllm_model/configs/vllm_model_for_training.yaml
      - resources_servers/metxbiodb/configs/metxbiodb.yaml

启动 GRPO 训练

使用以下命令启动 GRPO 训练:

# 多节点 GRPO 运行(16 块 GPU)
python examples/nemo_gym/run_grpo_nemo_gym.py \
    --config configs/grpo_metxbiodb_super_vl.yaml \
    cluster.num_nodes=4 cluster.gpus_per_node=4 \
    grpo.max_num_steps=100

注意:grpo_metxbiodb_super_vl.yaml 是本文所介绍环境的完整 GRPO trainer 配置。

GRPO policy 配置

下面展示 GRPO trainer 配置中的 policy 部分,完整配置还包含 rollout、reward server 和日志相关的设置。

policy:
  model_name: nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A128-BF16
  tokenizer:
    - name: $(policy.model_name)
  chat_template_kwargs: null
  hf_config_overrides:
    num_next_predict_layers: 0
  train_micro_batch_size: 1
  logprob_batch_size: 1
  logprob_chunk_size: 2048
  max_total_sequence_length: 5120
  make_sequence_length_divisible_by: 256
  precision: bfloat16
  offload_optimizer_for_logprob: true
  optimizer:
    - name: transformer_engine.pytorch.optimizers.fused_adam.FusedAdam
      kwargs:
        lr: 1.0e-06
        weight_decay: 0.1
        betas: [0.9, 0.999]
        eps: 1.0e-08
        master_weights: true
        store_param_remainders: true
        exp_avg_dtype: torch.bfloat16
        exp_avg_sq_dtype: torch.bfloat16
  scheduler:
    - name: torch.optim.lr_scheduler.ConstantLR
      kwargs:
        factor: 1.0
        total_iters: 1000000000
    - milestones: []
  automodel_cfg:
    enabled: true
    tensor_parallel_size: 1
    context_parallel_size: 1
    expert_parallel_size: 4
    sequence_parallel: false
    activation_checkpointing: true
    cpu_offload: false
    moe_parallelizer:
      ignore_router_for_ac: true
      reshard_after_forward: true
    automodel_kwargs:
      backend:
        _target_: nemo_automodel.components.models.common.utils.BackendConfig
        attn: te
        linear: te
        rms_norm: torch_fp32
        experts: gmm
        dispatcher: hybridep
      fake_balanced_gate: false
      rope_fusion: false
      enable_hf_state_dict_adapter: true

注意:将 loss_fn.use_importance_sampling_correction 设为 True,可减小 vLLM 滚动引擎与 Megatron 训练引擎之间的方差。对于混合专家(MoE)模型,这一步尤为关键。

蒸馏流程

以下代码片段根据 Tanimoto 相似度对教师模型的输出进行打分,并按用户设定的阈值筛选评分合格的轨迹,以构建 SFT 语料库。

生成脚本及启动命令如下:

export POLICY_API_KEY=<your-inference-api-key>

# 第一步:用 Claude Sonnet 5.5 生成 rollout 数据
python3 tools/generate_sft.py \
    --model anthropic/claude-sonnet-5-5 \
    --split train \
    --num-repeats 8 \
    --min-reward 0.7 \
    --out-dir runs/metxbiodb_sft_distilled

# 第二步:构建 OpenAI 格式的 SFT 数据集
python3 tools/build_metxbiodb_sft_messages.py \
    --in-file runs/metxbiodb_sft_distilled/generated.jsonl \
    --out-dir metxbiodb/distilled_datasets \
    --val-frac 0.05 \
    --seed 42

其中 generate_sft.py 的内容如下:

async def generate(row, semaphore):
    async with semaphore:
        resp = await client.responses.create(
            model=model,
            instructions=SYSTEM_PROMPT,
            input=[{"role": "user", "content": row["prompt"]}],
            tools=TOOLS,
            temperature=1.0,
        )
    predicted_smiles = None
    response_text = getattr(resp, "output_text", "") or ""
    for item in getattr(resp, "output", []):
        if (
            getattr(item, "type", None) == "function_call"
            and getattr(item, "name", None) == "submit_metabolite"
        ):
            predicted_smiles = (
                json.loads(item.arguments).get("smiles", "").strip()
            )
            break
    valid, reward = (
        tanimoto(predicted_smiles, ground_truth)
        if predicted_smiles
        else (False, 0.0)
    )
    return {
        "id": row["id"],
        "prompt": row["prompt"],
        "response": response_text,
        "predicted_smiles": predicted_smiles,
        "reward": reward,
    }

注意: 按 score == 1.0(Tanimoto 完全匹配)过滤,只会保留教师模型推理在化学上合理、且最终答案与真实值完全一致的轨迹。如果希望标准宽松一些、引入一定多样性,可以改用阈值(如 score >= 0.7)。

启动 SFT 训练

使用以下命令启动 SFT 训练:

# 多节点 SFT 训练(16 块 GPU)
python examples/run_sft.py \
    --config configs/sft_metxbiodb_super_vl_lora.yaml \
    cluster.num_nodes=4 cluster.gpus_per_node=4 \
    sft.max_num_steps=55

注意:sft_metxbiodb_super_vl_lora.yaml 是本文环境所用的完整 SFT 训练配置文件。

SFT 训练配置

以下是该 SFT 训练器配置,在 RL 循环开始前,先通过蒸馏轨迹对学生模型进行热启动:

policy:
  optimizer:
    kwargs:
      lr: 1.0e-5
      weight_decay: 0.0
  automodel_cfg:
    model_save_format: safetensors
    checkpoint:
      save_consolidated: final
    consolidation_timeout_minutes: 120
    lora_cfg:
      enabled: false

后训练为研究团队提供了一种将 Nemotron 模型适配到领域相关任务和实验证据的方法。该方案将实验记录转化为提示词和参考答案,将模型提交连接到自动化验证器,并利用强化学习针对反馈进行训练。

核心设计选择在于奖励函数:它应当衡量你所期望的科学成果。教师模型蒸馏可作为可选的起点,而留出评估则有助于判断这两种训练路径是否能在基础模型之上提升性能。

领域专用数据、任务适配的验证机制以及可复现的评估体系,共同为开发专业科学智能体提供了实用基础。建议从明确定义的任务入手,验证评分方法,并仅在有证据支持时扩展工作流。

您可以通过探索 NeMo Gym 和 NeMo RL 开始,并参考配套的recipe 示例,构建和评估适用于自身科学任务的环境。

原始来源: NVIDIA 开发者博客

评论 (0)