第6章 流式消息
完整文档索引请参见 llms.txt。本页也提供 Markdown 版本。
流式消息
流式消息让用户能够分块接收模型的响应,而无需等待完整响应生成完毕。其实现方式是逐步向用户传输内容分块。此功能带来以下优势:
快速响应:内容逐步呈现,无需等待完整输出。 提升用户体验:减少等待时间,提供即时反馈。 降低延迟:信息在生成过程中即被传送,缩短感知延迟。 动态处理:支持在数据接收过程中进行实时处理与展示。
参数设置
要启用流式传输,设置 stream=True。
代码
curl https://api.arcee.ai/api/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer YOUR_API_KEY" \ -d '{ "model": "MODEL_NAME", "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": "What is the difference between SLMs and LLMs?" } ], "stream":true }'
from openai import OpenAI client = OpenAI( api_key="YOUR_API_KEY", # 你的 Arcee API 平台密钥 base_url="https://api.arcee.ai/api/v1/")
response = client.chat.completions.create( model="MODEL_NAME", messages=[ {"role":"system", "content":"You are a helpful assistant"}, {"role":"user", "content": "What is the difference between SLMs and LLMs?"}, ], stream=True )
for chunk in response: if chunk and hasattr(chunk, 'choices') and chunk.choices: delta = chunk.choices[0].delta if hasattr(delta, 'content') and delta.content is not None: print(delta.content, end="", flush=True)
响应示例
上一节 模型 下一节 多轮对话
最后更新于 10 个月前