llm-chat-completions-server 0.1a0：LLM 插件，提供 OpenAI Chat Completions API 端点

发布 llm-chat-completions-server 0.1a0 — 一个 LLM 插件，用于提供 OpenAI Chat Completions API 端点

在 LLM 0.32rc1 中引入新的内容可寻址日志，一个关键目标是支持 OpenAI Chat Completion 风格的请求，即每次传入的消息都延续之前的对话，如下所示：

curl http://localhost:8002/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "qwen3.5-4b",
    "messages": [
      {"role": "user", "content": "Capital of France?"},
      {"role": "assistant", "content": "Paris."},
      {"role": "user", "content": "Germany?"}
    ]
  }'

这里对话状态由客户端跟踪，因此每个请求都会越来越长。LLM 中的新 schema 设计旨在通过使用各个消息部分的哈希值来去重。

为了测试这一点，我构建了这个插件：

uv tool install llm --pre
llm install llm-chat-completions-server
llm chat-completions-server -p 9001

运行后会在 9001 端口启动一个本地服务器，通过兼容 ChatGPT Completions 的端点暴露你所有的 LLM 模型（来自已安装的任何插件）。

GPT-5.6 Sol 写了整个代码——事实证明它非常了解 OpenAI Chat Completions API 的结构。