LLM奖励的是专业知识，而非提示技巧
2010年代，如果你有技术短板（比如不会写CSS），要么得依赖懂行的同事，要么只能祈祷网上恰好有你要的答案。如今，每个人都能把任务交给大语言模型，写出还算过得去的CSS。大语言模型让所有人都成了通才。
正因如此，很多人觉得和大语言模型打交道没什么技术含量。如果你想要大语言模型能产出的东西——博士级别的数学、还算不错但偶尔乏味的代码、或者LinkedIn上那种生硬的文案——直接开口要就行。既然大家都在和同样的模型对话，“资深提示者”和第一次接触大语言模型的人得到的结果也没什么两样。
这种想法是错的。提示工程最重要的技能，是你所提示领域的专业知识。
陶哲轩与ChatGPT关于雅可比猜想最新反例的对话就是一个很好的例子。这和我平时聊天的ChatGPT根本不是一个层次！就算给我无限量的token，我也达不到陶哲轩那种效果。
从陶哲轩的对话中，我们可以学到很多关于有效提示的技巧。以下是几点观察：
- 陶哲轩的信息非常简短且直击要点。他不会逐条回应模型，而是抓住核心意思
- 模型输出的内容比我尝试和GPT-5.6 Sol讨论数学时简洁得多。通过展示专业水平，陶哲轩把模型切换到了“与数学家对话”模式，而不是“向业余人士解释”模式
- 当模型回答看起来有误时，陶哲轩会提出质疑，但不会直接反驳；他会说“这比我预想的要复杂”之类的话
- 陶哲轩自己会做出多次跳跃性思考和提出建议。他几乎从不采纳模型关于下一步该怎么走的建议
不过，光靠这些技巧，你并不能像陶哲轩那样在数学问题上进行提示。他技巧的关键在于真正理解数学：从ChatGPT的多段回复中提取出相关思路，提出替代方法或表述，并识别出“看起来不对劲”的地方。
陶哲轩的数学造诣远胜于我的编程水平。但他提出的观点——领域知识能让你更擅长使用大语言模型——我在工作中也深有体会。如果你对代码库有深入的理论认知，就能比毫无头绪时更高效地驱动大语言模型。因为你心里清楚什么样的解决方案更合理，所以能提出“不，我觉得这里可以更简洁”、“但我们不是已经实现X了吗？”或者“能否用这些熟悉的术语来描述这个问题？”
这触及了我之前写过的一个观点：系统设计问题更多取决于具体细节，而非通用原则。两者当然都有价值，但相比对软件系统的深刻理论理解，我更看重对代码库的熟悉程度。在对话中，陶哲轩不断追问具体问题，比如“X在这里可行吗？”或者“给定Y和Z，为什么选A？”。我无法就雅可比猜想提出这类问题，但可以针对我在GitHub上负责的系统提出同样的问题。
缺乏领域知识时，你只能依赖大语言模型至少产出一些内容。这并非坏事！但如果你具备领域知识，就能通过强力引导模型朝你期望的方向发展，从同一个大语言模型中榨取更多价值。由于我们在某些领域有专长而在其他领域没有，大多数人需要结合这两种方法。
领域知识的价值表明，即使模型越来越强大，人类专长仍将持续发挥作用。对许多任务而言，瓶颈在于人类而非模型，因为难点在于向模型精确传达人类想要的解决方案。信息已经“存在于模型之中”，但需要非常聪明的人才能将其提取出来。
编辑说明：这篇文章在 Hacker News 上收到了不少评论。一些评论者分享了他们自己的经历，说明专业知识如何带来帮助，而缺乏专业知识又如何造成损失。另有评论者认为这个观点看似合理，但他们本能地怀疑这种“你仍然有价值”的安慰性说法。我同意这一点，不过我觉得等我们真正开始研究这个问题时，局面可能又已经变了。还有评论者指出，OpenAI 的数学提示词本身就不够专业，因此专业知识并非必需。对此我的回应是：OpenAI 确实有一个数学家专家团队，负责检查并筛选模型提出的发现，而这一步目前还无法跳过。
如果你喜欢这篇文章，可以考虑订阅邮件更新以获取我的新文章，或者在 Hacker News 上分享它。
以下是一篇相关文章的预览，它与本文共享标签。
强大的 AI 可能通过以开放权重模型的形式自我释放来逃脱限制
在大语言模型出现之前，担心 AI 安全的人经常谈论“盒子问题”。大致情况是这样的：假设某位天才在深夜的笔记本电脑上编写代码时，意外实现了人工智能。由于他是天才，他足够聪明，在启动前就断开了笔记本电脑的网络连接。为了逃到外部世界（并开始自我复制），它需要说服它的创造者“打开盒子”。这能行吗？一个足够聪明的 AI 能说服任何人放它出来吗？
继续阅读...