智能体能给化学反应「算笔账」吗？CMU、圣母大学等提出化学采购成本推理基准 ChemCost，入选 NeurIPS 2026

让目前最强的大模型智能体去估算一个化学反应的原料采购成本，误差控制在 25% 以内an的成功率只有一半左右；一旦输入换成真实文献里常见的自然语言段落和 OCR 扫描文本，这个数字还会进一步大幅下滑。

近日，来自卡内基梅隆大学（CMU）、圣母大学、北卡罗来纳大学教堂山分校和匹兹堡大学的研究团队提出了多步化学采购成本估算基准 ChemCost，将科学智能体的评测从高层的路线规划，推进到真实工业工作流中的定量成本推理。该工作已被 NeurIPS 2026 Datasets and Benchmarks Track 接收。

现有科学智能体已经能够调用领域工具规划化学合成路线，但相关评测大多停留在精选案例演示、专家主观评估或 LLM-as-judge 打分，缺乏精确、无需裁判（judge-free）的客观真值。ChemCost 构建了一个涵盖 1,427 个可评估化学反应、2,261 种化学品和 230,775 条供应商包装报价的冻结数据库，要求智能体从反应描述出发，自主完成化学名称对齐、供应商报价检索、合规包装选择、计量单位换算和最终成本汇总。实验表明，即便是最强的前沿模型智能体，在干净输入下的成本预测准确率（25% 误差容忍度内）也仅为 50.6%。

本文的共同第一作者是卡内基梅隆大学的 Yuyang Wu 和圣母大学的 Yue Huang，通讯作者是卡内基梅隆大学的Jian Ma 教授、Olexandr Isayev 教授，以及圣母大学的 Xiangliang Zhang 教授。

• 论文标题：Can Agents Price a Reaction? Evaluating LLMs on Chemical Cost Reasoning
• 论文链接：https://arxiv.org/abs/2605.07251

引言

大型语言模型作为工具调用智能体已经展现出强大的能力，在软件工程（如 SWE-bench）和网页交互（如 WebArena）等通用任务上取得了显著进展。在化学领域，ChemCrow 和 Coscientist 等系统也证明了大模型可以辅助规划合成路线、调用外部专业工具。

然而，一旦落到真实实验室或工业场景，智能体往往难以胜任这样一类工作流：既要与结构化数据库交互，又要满足严格的领域约束，还要给出精确的定量决策。化学采购成本估算正是其中极具代表性的一项任务。在化工生产和实验室规划中，评估合成目标化合物的成本，对路线筛选、预算规划、供应商选择和可行性评估都至关重要。

      ^{图 1：采购成本估算任务概览（左）与典型失败模式（右）}

研究团队指出，这项任务对现有 LLM 智能体极具挑战，因为它要求执行一连串相互依赖、受领域约束的操作：

• 名称存在歧义：同一种分子在文献中可能以缩写、俗名、IUPAC 系统命名或分子式出现。例如「TEA」既可能指三乙胺，也可能指三乙醇胺，二者分子量和价格截然不同。智能体必须把名称精确对齐到唯一的分子结构。
• 价格信息碎片化：不同供应商、包装规格和纯度下的报价差异巨大，智能体需要在满足纯度与用量约束的前提下，检索并挑出合规的包装组合。
• 成本需要归一化：智能体必须识别限量试剂，把当量或摩尔百分比（mol%）换算成实际所需质量，再结合反应产率算出每克目标产物的采购成本。

在这条多步链路中，任何一个环节出错，都会让最终估算严重失真：分子标识符映射错误、检索不到报价、单位换算失误（如图 1 中把 0.23 g 产物算成 230 g，导致每克成本低估约 1000 倍）、遗漏昂贵的钯催化剂，或者干脆脱离工具、凭参数记忆「盲猜」价格。另一方面，由于每个中间步骤的输出都可以与客观真值自动比对，这一任务天然适合作为诊断科学智能体工具使用与领域推理能力的试金石。

为此，研究团队提出了 ChemCost 基准：在不提供供应商价格和标准化分子标识符的前提下，要求智能体根据反应描述，返回以 1 mmol 限量试剂为规模、按每克产物归一化的采购成本。整个评测无需人工或 LLM 裁判，并支持对名称对齐、检索、采购和算术计算进行分阶段的自动化诊断。

ChemCost 基准构建与设计

ChemCost 由三部分组成：数据收集与确定性标签计算、四类可控噪声注入，以及分阶段的评测协议。

      ^{图 2：ChemCost 数据构建流程（a）与四类噪声注入（b）}

数据收集与确定性成本计算

ChemCost 从五个互补的数据源中精选并标准化了 1,427 个化学反应：开放反应数据库（ORD）、有机化学命名反应教材、《Organic Syntheses》实验步骤、逆合成路线集（PaRoutes 和 ChemPU），以及专家手工构建的校准样本。所有记录被转换为统一的反应格式，组分角色归为反应物、催化剂、碱、试剂和溶剂五类。

为了得到精确的客观真值，研究团队执行了以下标准化流程：

• 化学实体对齐：借助 PubChem 将所有组分和产物名称解析为规范 SMILES，再用 RDKit 校验结构并计算精确分子量。
• 冻结价格数据库：从 MolPort、ChemSpace 和 Sigma-Aldrich 等商业平台收集 2,261 种化学品的 230,775 条包装级报价，锁定在同一时间快照以保证可复现，并剔除纯度低于 95% 的非科研级规格。
• 采购成本计算规则：将限量试剂的当量归一化为 1.0，反应规模固定为 1 mmol 限量试剂。对每个非溶剂组分 i（归一化当量 eᵢ、分子量 Mᵢ），所需质量为 mᵢ = eᵢ × Mᵢ × 10⁻³ g。采购时优先选择能覆盖 mᵢ 的最小合规包装；若单个包装不够，则购买最少数量的最大合规包装，由此得到该组分的采购花费 qᵢ。

给定产物分子量 M_P 和产率 y（%），最终标签为：每克产物成本 c = 所有非溶剂组分的采购花费之和 Σqᵢ ÷ [M_P × 10⁻³ × (y / 100)]

即：1 mmol 规模反应的总采购花费，除以该规模下实际得到的产物克数。

四类噪声注入

真实文献中的实验记录往往充满噪声、格式多变。为了测试智能体的鲁棒性，研究团队在保持成本真值不变的前提下，设计了四类噪声：

• 化学名称噪声（+Name）：引入同分异构体歧义（如正丁醇被写成泛指的「丁醇」）、缩写冲突（如 TEA）以及盐 / 水合物状态混淆（如五水硫酸铜与无水硫酸铜）。
• 计量表达噪声（+Qty）：将统一的当量表达替换为摩尔百分比、液体体积（mL）或模糊描述（如 excess、around 2.0 equiv），考察单位换算能力，以及在信息确实无法恢复时能否合理拒答。
• 缺失信息噪声（+Miss）：隐去分子量、产率或组分角色等字段，迫使智能体调用工具重新计算，或从上下文推断出缺失信息。
• 格式噪声（+Fmt）：把结构化输入改写成自然语言实验段落，并注入模拟扫描文档的 OCR 字符错误（如 CH3I 变成 CH3l、Na2CO3 变成 Na2C03），检验解析流程的抗干扰能力。

评测时，每类噪声单独施加形成一个视图，另设一个四类噪声同时施加的「全噪声」（All Noise）视图。

实验结果

研究团队将所有模型封装为基于 ReAct 框架的工具增强智能体（最多 40 步交互），配备化学名称解析、供应商报价检索、分子量计算和算术求值四个确定性工具。评测覆盖闭源模型（Qwen3.5-Plus、GPT-5、Claude Sonnet 4.6、Gemini 2.5 Flash、GPT-5.4 Mini）、开源权重模型（DeepSeek V4 Pro、Kimi K2.5、Qwen3-235B-A22B、Qwen3-14B）以及化学领域专用模型（LlaSMol-7B、ChemDFM-v2.0-14B、ChemLLM-20B）。

核心指标为成本容忍度准确率 CTA@k，即预测成本与真值的相对误差在 k% 以内的样本比例；同时报告组分识别的精确率和召回率。

^{表 1：ChemCost 主实验结果（Pre./Rec. 为组分识别精确率 / 召回率，C.10 / C.25 为 CTA@10 / CTA@25）}

整体表现：前沿模型占优，但仍落后于人类专家

如表 1 所示，在干净的结构化输入下，最强的模型能大致恢复采购成本，但高精度的数值推理依然受限。Qwen3.5-Plus 取得了最高的 CTA@25（50.6%），DeepSeek V4 Pro 紧随其后（49.4%），并在更严格的 CTA@10 上以 37.0% 位居第一；GPT-5 和 Kimi K2.5 的 CTA@25 也都超过 37%。

作为对照，研究团队请三位具有湿实验合成经验的化学专业人员，在与智能体相同的输入、冻结报价数据库和采购规则下完成估算，得到的人类专家参考水平为 CTA@10 57.0%、CTA@25 66.9%，所有智能体都明显低于这一水平。

化学领域微调没能迁移到采购推理。ChemDFM-v2.0-14B 和 ChemLLM-20B 等化学专用模型的组分识别精确率高达 89%～94%，召回率约 50%，但最终的 CTA 几乎为 0。这说明领域微调提升了化学实体识别能力，却无法迁移到需要遵循指令、多步调用工具、追踪中间状态并做定量汇总的智能体工作流中。

调用工具是必要条件，但不是充分条件

^{图 3：（A）平均工具调用次数与 CTA@25 的关系；（B）主要模型成功轨迹（实心）与失败轨迹（斜线）的工具调用构成}

统计智能体的完整交互轨迹后，研究团队发现，平均工具调用次数与 CTA@25 之间存在很强的跨模型相关性（Pearson r = 0.98）。不过，这一相关性主要来自「几乎不调用工具」与「积极调用工具」两类模型之间的差距：化学专用模型和 Qwen3-235B 几乎不调用工具，CTA@25 也接近于零；去掉这部分模型后，相关系数降到约 0.77。

对积极调用工具的前沿模型而言，调用越多并不意味着结果越好。DeepSeek V4 Pro、Qwen3.5-Plus 和 Claude Sonnet 4.6 在失败轨迹中的工具调用次数，反而比成功轨迹分别多 38%、52% 和 36%。多出来的调用高度集中在「检索供应商报价」环节，揭示了一种「检索卡死」模式：智能体反复查询报价，却始终无法收敛到合规的包装选择，也完成不了后续的成本计算。

GPT-5 则相反，失败轨迹的调用次数比成功轨迹少约 14%，表现为过早终止或依赖参数记忆估算的「检索不足」模式。

格式噪声是最大的「拒答触发器」

^{图 4：（A）各噪声条件下的拒答率；（B）格式噪声下拒答原因的拆解；（C）细粒度计量与格式扰动下的成本准确率与组分识别指标}

引入噪声后，所有模型的性能都出现下滑，其中格式噪声（+Fmt）的破坏最大。在名称噪声和计量噪声下，Qwen3.5-Plus 和 DeepSeek V4 Pro 仍能保持约 30%～38% 的 CTA@10；但在格式噪声下，二者分别跌至 18.5% 和 22.2%；四类噪声同时施加时，两者都只剩 19.8%。

格式噪声让五个前沿模型的平均拒答率（即未返回有效数值的比例）上升了 26.3 个百分点，而其他任何单类噪声带来的增幅都不超过 6 个百分点。例如，DeepSeek V4 Pro 的拒答率从 7.4% 升至 29.8%，Claude Sonnet 4.6 从 28.9% 升至 57.0%。

进一步拆解发现，表面上同样是「没给出答案」，背后的机制却各不相同：DeepSeek V4 Pro 主要是交互步数耗尽，反复尝试却无法在步数上限内收敛；Qwen3.5-Plus 和 Sonnet 4.6 约 95% 属于「主动未完成」，即没有明确拒绝，却在中途停下、没有输出最终数值；Kimi K2.5 则有 71% 属于明确表示无法作答的「显式拒答」。

图 4C 还揭示了明显的「识别 - 计算鸿沟」：在自然语言 + OCR 噪声下，模型的组分识别精确率依然有 77%～93%，CTA@25 却跌到 21%。也就是说，智能体能认出化学品，却无法在噪声干扰下把它们组装成完整、正确归一化的采购状态。

合成路线深度是最主要的难度来源

^{图 5：（A）CTA@25 随合成步数的变化；（B）随非溶剂组分数的变化；（C）随产物分子量的变化；（D）各模型在三个维度上的准确率落差}

研究团队还从合成步数、非溶剂组分数量和产物分子量三个结构维度，剖析了任务难度：

• 合成步数是最核心的难度瓶颈：反应从单步扩展到 2～5 步时，模型的平均 CTA@25 从 42% 依次降至 29%、16%、11% 和 13%。对比单步反应与三步及以上的反应，每个前沿模型都损失了约 24～25 个百分点。

• 产物分子量带来另一条难度梯度：无论单步还是多步反应，产物分子量越大，准确率越低。

• 组分数量的影响因模型而异：在单步反应内部，增加组分数量并不会降低 Qwen3.5-Plus、DeepSeek V4 Pro 和 GPT-5 的准确率，完整的催化剂与添加剂配方有时反而有助于锚定检索；但 Kimi K2.5 和 Sonnet 4.6 会明显受到影响，呈现出不同模型各自的「反应复杂度指纹」。

结论

尽管大型语言模型在通用工具调用和化学合成规划演示中表现亮眼，但面对需要与结构化数据库交互、严格遵循领域约束的定量工作流时，它们依然脆弱。研究团队提出了首个面向多步化学采购成本估算的评测基准 ChemCost，借助冻结的供应商报价快照与分阶段诊断协议，实现了无需裁判的精确评测。实验结果揭示了当前科学智能体的几大瓶颈：能调用工具，却难以整合证据；能认出分子，却算不对账；对真实格式噪声高度敏感。这为未来构建具备更强实体对齐、状态追踪和证据反思能力的科学智能体指明了方向。