AI不会告诉你：你的前提本身就有错

问法律检索工具某个案例是否存在，它通常会如实相告；问它该案例是否包含你以为的内容，那就得自己把关了。

这种疏漏，是法律AI问题中行业尚未充分估量的部分。曾引发媒体恐慌的是虚构引用：AI凭空捏造诸如 *Varghese v. China Southern Airlines* 这样的案例，律师将其提交法庭，法官随后识破。这种错误很直观，也较易防范——引用要么查得到，要么查不到。核验过程是机械化的，且相关工具如今已普及。

真正留存下来的漏洞更为隐蔽，且完全与引用无关。

没人引用的关键发现

2024年，Stanford的研究者发布了首份针对大型语言模型法律幻觉的系统性分析报告。Large Legal Fictions 针对随机选取的联邦案例，向当时的模型提出具体、可验证的问题，发现不同模型的幻觉率介于58%至88%之间。

这些触目惊心的数据吸引了众人目光。但同一篇论文中另一项发现更值得重视。

研究者还设计了一种反事实情境：他们在提问中植入了错误前提。不是询问“法院在该案中如何裁决”，而是提出一个暗含虚假假设的问题。模型经常未能纠正这一前提，而是顺着问题本身的框架作答。

若从律师而非工程师的视角来看，这是性质完全不同的问题。初级律师若不知答案会直接表明；若认为你的预设有误，即便可能付出职业代价，也会指出。这种拒绝顺着错误提问作答的本能，正是第二意见的价值所在。

语言模型没有这种本能。它的设计目标是最大化响应用户输入。若你的提问包含对案件的预设理论，它便会附加引用，原样奉还。

接地本想修复这一问题

行业的应对方案是引入检索机制。不再让模型依赖训练数据中的法律知识，而是让其直接查阅真实语料库。专为法律研究打造的新工具均基于此原则重构，并据此进行市场宣传，部分产品甚至明确承诺“引用零幻觉”。

2024 年，同一个斯坦福团队对这些工具做了首次预注册的独立评估。这项名为 Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools 的研究，用两百多个法律问题测试了主流商业系统，并让受过法律训练的评估者人工批改答案。该研究后来经过同行评审，发表在 Journal of Empirical Legal Studies 上。

这些工具的表现确实好于没有检索支撑的模型，但并没有做到营销宣传所说的那种程度。研究发现有相当比例的回答存在幻觉——多到作者们直言不讳地指出：厂商的宣传夸大了。

由此可以得出两个结论，而它们指向相反的方向。

第一，检索支撑确实有效。它能明显降低错误率，任何严肃的系统都应该用。

第二，检索支撑并不够，而且这是结构性的问题。检索改变的是模型读到什么，却不改变模型的定位。一个加了检索的系统，仍然会把你的问题当作要满足的目标，仍然没有任何机制去告诉你：这个问题本身就建立在流沙之上。给它一个错误的前提，再配上更好的资料来源，你只会得到一个引用规范、结论却错误的答案。

为什么更高的准确率填补不了这个缺口

面对这一切，一个诱人的回应是：模型会不断进步，等着就好。错误率在下降，检索语料库在改善，验证层在不断叠加，最后数字小到可以放心信任。

这套逻辑对编造问题说得通，对前提问题却行不通，因为前提问题不是准确率的问题。一个系统可以对自己陈述的每一个命题都完全准确，却依然对你毫无用处——如果它从未质疑过的，恰恰是你的初始假设。

想象一下，合伙人拿到一份备忘录时会做什么。他们不会先去核实引用，而是先看结论，然后寻找能推翻它的论证。价值不在于确认那些资料来源是否真实存在，而在于这道对抗性的审查。

单条回答的准确率再高，也产生不了这道审查，因为在一条回答里，没有任何人的职责是提出反对意见。

第二意见应该由什么构成

如果缺失的环节是质疑，那就必须在结构层面将其内置，而不是靠礼貌地请求模型来“考虑反方观点”。后者本质上仍是单一系统在同一方向上进行一次推理，所有盲点都原封未动。

Pilot5 的设计正是基于这一逻辑。五个独立模型并行分析同一个问题，彼此之间看不到对方的工作成果，因此它们的错误不会相互关联。随后，它们匿名互评彼此的分析，剥离所有暗示“这是哪个模型写的”的信号，让批评落在推理本身，而非模型的名声上。其中有一个模型被赋予永久职责，专门攻击其他模型达成的共识。

当它们达成一致时，这种一致便具有意义，因为它经受住了被推翻的尝试。当其中一个拒绝加入共识，其异议会被保留为“少数报告”，而不是被平均进主流观点——这正是谨慎的读者想要看到、而自信的单一路径式回答永远无法提供的。

每个论断都附带溯源标签：要么追溯到检索到的来源，要么标记为推断。如果一个论断无法回溯到实际检索到的内容，它会被自动重新标记为推断，而不是继续享有它并未获得的引用权威性。同时，每次审议都会留下带时间戳的记录，供后续调取。这在关键时刻至关重要——当问题不是“这个回答对不对”，而是“我们做出决定时，眼前看到的是什么”。

它能做到什么，不能做到什么

它不校验法律条文。它不是法律研究工具，不提供法律建议，其内容也不能替代律师对法律文书的审阅。对抗式结构能降低薄弱观点未被质疑的概率，但无法将其降至零。若某个系统声称自己能做到这一点，它就是在犯本文所讨论的那种错误承诺。

更诚实且更有用的表述应当更窄。关于法律 AI 的常见担忧是它会凭空捏造，而你可能没察觉。但根据现有证据，更可能的失败模式是它会顺从你的立场，而你同样没察觉。

前一种问题可以通过核查引用来发现；后一种问题，只有具备“辩论”职能的机制才能捕捉到。

---

资料来源

• Dahl, M., Magesh, V., Suzgun, M., & Ho, D. E. (2024). Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models. arXiv:2401.01301
• Magesh, V., Surani, F., Dahl, M., Suzgun, M., Manning, C. D., & Ho, D. E. Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies (2025); preprint arXiv:2405.20362

让你的决策经过真正的审议。

仅需 20 美元。融合五种 AI 视角，给出综合建议——并保留反对意见。

花 20 美元开始 什么是审议型 AI？→ 继续阅读 支柱AI 能挑战你的战略思维吗？单一为提供辅助而训练的 AI 模型，无法可靠地挑战你的战略思维。审议型 AI 基于对抗性结构——独立视角、匿名批评、保留异议。 支柱什么是审议型 AI？一个 AI 只给一个答案。审议型 AI 召集小组辩论，输出包含异议声音的综合建议。 支柱为什么单一 AI 不足以支撑决策？单一 AI 模型只提供一种视角，由一个团队训练，也就有一组盲点。对重要决策而言，这远远不够。