研究 LMQL 及其实现的核心论文。
Prompt Sketching for Large Language Models arXiv:2311.04954 [cs.CL] Luca Beurer-Kellner、Mark Niklas Müller、Marc Fischer、Martin Vechev
苏黎世联邦理工学院 SRIlab（瑞士）
阅读全文
许多近期的 LLM 提示策略需要多次顺序查询模型——先生成中间结果，再生成最终答案。但这种方式下，解码器和模型都不清楚后续还会有什么提示，导致中间响应彼此割裂、且不必要地冗长。本文提出 prompt sketching（提示草图）这一新范式：LLM 不只是补全一段提示，而是为模板中的多个变量预测取值。这样用户就能更好地控制生成过程，比如通过中间指令给出推理框架，从而获得更好的整体效果。让现有自回归模型支持 sketching 的关键思路，是改造解码过程，在文本生成的同时对后续指令进行评分，从而在推理时优化整个模板的似然。实验表明，在零样本设置下，prompt sketching 在 8 个 LLM 基准任务中有 7 个优于直接提问、chain-of-thought 等现有顺序提示方案，任务涵盖状态追踪、算术推理和通用问答。为方便后续使用，我们发布了一系列通用且有效的 sketch，以及开源库 dclib，用于驱动我们支持 sketch 的解码器。
Large Language Models are Zero-Shot Multi-Tool Users ICML 2023 知识与逻辑推理研讨会，夏威夷檀香山
Luca Beurer-Kellner、Marc Fischer、Martin Vechev
苏黎世联邦理工学院 SRIlab（瑞士）
阅读全文
我们提出 LMQL Actions——一个便于实现工具增强语言模型（LM）的框架和编程环境。具体做法是让 LM 具备调用 action（任意 Python 函数）的能力，并尝试了不同的工具发现与调用方式。我们发现，虽然以往工作大量依赖 few-shot 提示来教模型使用工具，但仅靠指令的零样本方式就足以取得有竞争力的性能。同时，LMQL Actions 的零样本方式还提供了更简单的编程接口，无需任何复杂的示例演示。在此基础上，我们展示了 LMQL Actions 如何让 LLM 自动发现并组合多个工具来解决复杂任务。总体来看，LMQL Actions 实现的内联工具调用在算术推理和文本问答任务上都优于现有工具增强方案。
LMQL Chat: Scripted Chatbot Development Neural Conversational AI Workshop, TEACH - ICML 2023，夏威夷檀香山
Luca Beurer-Kellner、Marc Fischer、Martin Vechev
苏黎世联邦理工学院 SRIlab（瑞士）
阅读全文
我们推出 LMQL Chat，一个强大的开源框架，用于在 LLM 之上构建交互式系统，让开发者可以轻松创建支持工具调用、内部反思或安全约束等特性的对话代理。
Prompting Is Programming: A Query Language For Large Language Models 第 44 届 ACM SIGPLAN 编程语言设计与实现大会（PLDI 2023），佛罗里达州奥兰多
Luca Beurer-Kellner、Marc Fischer、Martin Vechev
苏黎世联邦理工学院 SRIlab（瑞士）
阅读全文
大语言模型在问答、代码生成等众多任务上表现出色。概括地说，给定输入后，语言模型能以统计上最可能的方式自动补全序列。用户据此用自然语言指令或示例来提示模型，实现各种下游任务。高级提示方法甚至可以让语言模型与用户及计算器等外部工具进行交互。然而，要达到最先进的性能或让语言模型适配特定任务，就得编写复杂的、与任务和模型相关的程序，且可能仍需临时交互。
为此，我们提出语言模型编程（Language Model Programming，LMP）这一新思路。LMP 将语言模型提示从纯文本提示扩展为文本提示与脚本的直观组合，同时允许对模型输出施加约束。这使得适配各类任务变得简单，还抽象了模型内部细节并提供高层语义。
为了支持 LMP，我们实现了 LMQL（Language Model Query Language 的缩写）。它利用 LMP 提示中的约束和控制流生成高效的推理过程，最大限度减少对底层语言模型的昂贵调用次数。
我们证明 LMQL 能以直观的方式表达各类最先进的提示方法，尤其便于实现现有高级 API 难以处理的交互式流程。评估显示，我们在多个下游任务上保持甚至提升了准确率，同时显著减少所需的计算量或付费 API 的成本（节省 26%–85% 的费用）。
