进阶 docs.arcee.ai 2026-10-23 07:38:35 · 35 阅读

第6章 流式消息

完整文档索引请参见 llms.txt。本页也提供 Markdown 版本。

流式消息

流式消息让用户能够分块接收模型的响应,而无需等待完整响应生成完毕。其实现方式是逐步向用户传输内容分块。此功能带来以下优势:

快速响应:内容逐步呈现,无需等待完整输出。 提升用户体验:减少等待时间,提供即时反馈。 降低延迟:信息在生成过程中即被传送,缩短感知延迟。 动态处理:支持在数据接收过程中进行实时处理与展示。

参数设置

要启用流式传输,设置 stream=True。

代码

curl https://api.arcee.ai/api/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer YOUR_API_KEY" \ -d '{ "model": "MODEL_NAME", "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": "What is the difference between SLMs and LLMs?" } ], "stream":true }'

from openai import OpenAI client = OpenAI( api_key="YOUR_API_KEY", # 你的 Arcee API 平台密钥 base_url="https://api.arcee.ai/api/v1/")

response = client.chat.completions.create( model="MODEL_NAME", messages=[ {"role":"system", "content":"You are a helpful assistant"}, {"role":"user", "content": "What is the difference between SLMs and LLMs?"}, ], stream=True )

for chunk in response: if chunk and hasattr(chunk, 'choices') and chunk.choices: delta = chunk.choices[0].delta if hasattr(delta, 'content') and delta.content is not None: print(delta.content, end="", flush=True)

响应示例

上一节 模型 下一节 多轮对话

最后更新于 10 个月前

评论 (0)