第10章 Chat Prefix Completion(Beta)功能详解
Chat Prefix Completion(Beta)
Chat Prefix Completion 遵循 Chat Completion API,用户提供一个 assistant 的 prefix message,让模型补全消息的剩余部分。
注意事项: - 使用 chat prefix completion 时,需保证 messages 列表中最后一条消息的 role 为 assistant,并将其 prefix 参数设为 True。 - 用户需设置 base_url="https://api.deepseek.com/beta" 才能启用该 Beta 功能。
示例代码: 下面是一个完整的 Python 示例。这里将 assistant 的 prefix message 设为 "```python\n",强制模型输出 Python 代码,并将 stop 参数设为 ['```'],防止模型附加额外说明。
```python from openai import OpenAI
client = OpenAI(
api_key="
messages = [ {"role": "user", "content": "Please write quick sort code"}, {"role": "assistant", "content": "```python\n", "prefix": True} ]
response = client.chat.completions.create( model="deepseek-flash", messages=messages, stop=["```"], )
print(response.choices[0].message.content) ```