Recall 是参数化事实准确性的瓶颈
事实准确性对于让大语言模型（LLMs）变得可靠至关重要。当模型错误地回答了某个事实性问题时，是因为该事实从未被编码，还是因为事实已被编码但无法被提取？标准的准确率指标将这两种情况混为一谈，但它们所暗示的局限性和解决方案却截然不同。编码失败需要通过扩大模型规模或扩展数据覆盖来解决；而提取失败则可能指向训练后阶段和推理时的方法，帮助 LLM 更好地利用其已经编码的知识。
在论文《空架子还是丢了钥匙？提取是参数化事实准确性的瓶颈》中，我们引入了“知识画像”（knowledge profiling）——一种行为分析框架，用于同时衡量编码和提取能力，并以此审视前沿 LLM（如 Gemini3 和 GPT-5）中事实准确性的底层瓶颈。我们进一步表明，前沿 LLM 中的许多事实错误更应被理解为“丢了钥匙”（提取失败），而非“空架子”（编码失败）。
在此我们借用类比：编码指事实的参数化表征，提取指在没有外部提示的情况下检索已编码事实，再认指在多个选项中指出正确事实。为支持这一分析，我们引入了 WikiProfile，这是一个包含 2,150 条源自 Wikipedia 的事实基准数据集，每个事实都配有十个问题，分别考察编码、提取和再认能力。
核心思想：知识画像
知识画像将分析单元从单个问题转移到事实本身。我们不问“模型是否答对了一道题”，而是问一个更宽泛的问题：“该事实处于什么状态？”我们将每个事实归入五类知识画像之一：（1）编码失败，（2）提取失败，（3）直接提取，（4）带思考过程的提取，（5）无编码推理。相比单纯依赖问题级准确率，这些画像能提供更丰富的诊断信息。
分类依据是事实是否被编码及其可访问性：无法召回、可以直接召回，或只能在经过思考（即得出最终答案前触发中间计算，包括链式思维提示和专为思考优化的大语言模型）后才能召回。
刻画事实的五个知识画像。
我们通过三个行为概念来操作化这一定义：
- 编码：如果模型能在类似预训练的上下文中正确复述某一事实，则认为该事实已被编码。在我们的设置中，我们通过命题补全和上下文问答来测量这一点，这两种方法将模型置于与预训练期间事实自然出现时相似的情境（且不透露答案），从而通过启动效应揭示该事实是否已被编码。
- 知识：如果模型能针对不同表述（包括直接问题和反向问题，例如若 A 是 B，直接问题问“B 是什么？”，反向问题问“A 是什么？”）语义等价的问题给出正确答案，则认为模型掌握该事实。
- 召回：如果模型知道某个已编码的事实，则认为其成功召回。若无需思考即可召回，称为直接召回；若模型知道的是未被编码但可通过思考推断出的事实，则称为无编码推理。这仅在启用思考时发生，且模型依赖其他已编码事实进行多跳推理或有依据的猜测。
上图：我们从维基百科中提取事实，这是大模型预训练数据的主要来源。左图：我们通过提示大语言模型在其原始上下文中复现事实来衡量「编码」能力。右图：我们通过变换不同表述方式和关系方向、结合或不结合推理过程来提问，从而衡量「知识」掌握程度。
介绍 WikiProfile
为了将知识画像操作化，我们构建了 WikiProfile，这是一个旨在衡量自然发生事实准确性的基准测试集。WikiProfile 采用完全自动化的流水线构建，由带推理能力的 Gemini-2.5-Pro 大语言模型驱动。提示词通过在预留的小规模子集上手动优化而得。我们通过在 Wikipedia 页面中识别事实来提取候选事实：即涉及有序实体对（主体和客体）的命题，其中主体在文档中首先出现。每个事实都对应 10 项任务：2 项用于编码测试，4 项用于知识评估，另有 4 项多选题变体用于识别测试。
我们通过生成、优化和过滤三步流程来生成直接问题和反向问题，确保每个问题均无歧义、具体、简洁且答案唯一。所有问题均经过搜索引擎辅助过滤，我们丢弃返回多个答案或需要澄清的情况。经过自动化过滤和最终人工验证后，该基准测试集共包含 2,150 个事实。
基于提示式 LLM 的全自动化流程。左侧（紫色）：事实提取与命题补全任务的构建。中间（红色和蓝色）：通过生成、精炼和过滤构建直接问题和反向问题。右侧（绿色）：基于直接/反向问题对生成其余题型（自然语言表述、语境题和多选题）。
如何评估 LLM
我们评估了 13 个 LLM。每个模型均在开启与关闭思维链的情况下进行测试。针对每个模型、事实和任务，我们采样八个响应。响应由提示式 LLM 自动评分器进行自动评分（详见论文），共产生约 450 万个响应。
主要结果：召回率而非编码能力是瓶颈
在前沿 LLM（Gemini-2.5-Pro、Gemini-3-Pro 和 Flash、GPT-5）中，事实编码接近饱和，但召回率并非如此。对于 Gemini-3-Pro 和 GPT-5，95–98% 的事实已编码，但这些模型仍无法直接召回 26–34% 的事实。即使开启思维链，它们在 11–12% 的事实上仍会出错。这意味着在前沿模型中，事实错误 increasingly 不再源于知识缺失，而是源于知识已存储但无法可靠访问。换句话说，瓶颈正从知识获取转向知识利用。
规模化加剧了这一图景。在 Gemma 3 系列中，更大的模型显示出少得多的编码失败，但召回失败依然显著，且在剩余错误中的占比更大。规模化在改善模型存储能力的同时，对其可访问能力的提升有限。
13 个 LLM 中五种档案的分布（百分比）。黑线标记潜在知识。如图所示，编码失败随规模扩大急剧下降，而召回失败即使在前沿模型中依然存在。
召回为何失败？
我们的结果表明，回忆能力与事实学习时的上下文紧密相关。当查询与事实被学习时的上下文、表述或顺序出现偏差时，回忆难度便会增加。我们重点讨论了两种系统性出现这种情况的情形。罕见事实已被编码，但难以回忆
prior work 表明，大语言模型在处理长尾（罕见）事实时存在困难，通常将这一问题归结为模型容量不足。我们的研究则提供了一个互补的视角。在比较低热度与高热度事实时，我们发现罕见事实的编码率接近热门事实。编码层面的差距相对有限；然而，回忆层面的差距则更大。这一发现重构了长尾问题：许多罕见事实并非缺失于模型的参数之中，而是已经存在，只是难以被访问。瓶颈已从知识获取转移至知识利用。
我们比较了两个热度层级（底部 20% 与顶部 20%）在编码率和直接回忆率上的表现。Δ 表示层级间的差距。如所示，编码差距较窄，而回忆差距较宽。详见论文了解所有大语言模型的结果。
反向问题可验证，但难以回忆
我们也重新审视了“逆转诅咒”现象：当大语言模型知晓“A是B”却无法回答“B是什么？”时。乍看之下，这似乎暗示大语言模型缺乏双向知识。但我们的结果对该观点进行了细化。在开放式生成（即回忆）任务中，反向问题始终比正向问题更难。然而在多项选择验证（即识别）任务中，反向问题并不比正向问题更难，甚至往往更容易。这种差异至关重要。如果一个模型能在干扰项中识别出正确答案，却不能在反向查询中生成该答案，那么问题并不简单是双向知识的缺失。相反，事实似乎已被编码且可被识别，但当查询方向偏离事实在学习阶段所呈现的方向时，便难以被回忆出来。逆转诅咒本质上是一个回忆问题。
我们在两种任务——验证（多选题）和生成（闭卷）——上比较了正向和反向问题。Δ 表示正向与反向设置之间的差距。LLM 在验证任务中能较好地处理反向问题，但在生成任务中则表现不佳。
将“思考”作为一种恢复机制
现在我们来探讨是什么使得对其他方法而言难以触及的知识得以恢复。为此，我们考察“思考”在此角色中的潜力。思考对记忆的促进作用恰恰在直接记忆最弱时最为显著。这种提升对于罕见事实和反向问题尤为明显，从而缩小了流行度差距和方向性差距。
我们考察了思考对记忆（即知晓已编码事实）的影响。左图：我们比较了两个事实流行度层级（底部 20% 对比顶部 20%）。右图：我们比较了正向和反向问题。流行度或方向性差距分别用 Δ（无思考）和 ΔT（有思考）表示。
如图所示，思考缩小了差距（ΔT < Δ）。
更具体地说，在优化过思考能力的模型中，思考大约能恢复 40%–65% 已编码但无法直接提取的事实。相比之下，对于未编码的事实，思考的帮助要小得多。这一模式表明，思考主要充当记忆促进机制：它帮助模型访问其已经编码的事实，而非主要通过复杂的多步推理来得出答案。当然，思考并非没有代价。它伴随着计算开销，而且目前尚不清楚如何精确判定模型何时应该触发它。
 我们统计了在思考后从不了解变为了解的"未知事实"的占比，按该事实是否已在模型中编码（红色）或未编码（黄色）区分。在面向思考优化的大语言模型中，思考可恢复 40–65% 已编码的事实，但对未编码事实的恢复率仅为 5–15%。核心结论
知识画像使我们能够精确诊断大语言模型中的事实行为。将其应用于维基百科事实的研究表明，我们对前沿大模型事实错误的认知需要转变。如果知识编码已接近饱和，那么事实性的进一步提升可能不再主要依靠规模扩张（模型参数或数据量）。由于思考能恢复大量已编码但未被直接掌握的事实，未来事实性的改进不仅来自更优的知识获取，也将来自对模型中已有知识的更有效利用。
