← 文章 / 云原生与基础设施
vercel 23天前 · 2026-10-18 04:44:56 · 16 阅读

AI 网关日志现已显示会话亲和性

AI Gateway 日志新增会话视图,可将会话内的请求分组展示,并显示会话亲和性(session affinity)如何路由每个请求。每一行都列出了运行该会话的编码智能体或应用(例如 Claude Code、Codex 或 Cursor),同时呈现其花费、所用的模型与提供商,以及各轮次中命中缓存的输入占比。

See logs grouped by sessions with a view into cache hit rate, session id, cost, and more.See logs grouped by sessions with a view into cache hit rate, session id, cost, and more.See logs grouped by sessions with a view into cache hit rate, session id, cost, and more.See logs grouped by sessions with a view into cache hit rate, session id, cost, and more.
查看按会话分组的日志,直观了解缓存命中率、session id、成本等信息。

打开一个会话,可以查看它的缓存命中率、耗时和路径。路径会列出每一轮对话及其所用模型和耗时,并标注当前服务该会话的 provider 以及之前使用过的 provider。Session affinity 会把每轮请求发送给服务上一轮的同一 provider,这样 prompt 的大部分内容已经在其缓存中。会话始终由同一个 provider 服务时,每次能从缓存读取更多 prompt 内容。

你可以按轮数、client、model、provider、身份验证方式或成本筛选会话。在清除最小轮数筛选条件之前,单轮会话默认隐藏。

查看单独会话以获取请求和指标的详细信息查看单独会话以获取请求和指标的详细信息查看单独会话以获取请求和指标的详细信息查看单独会话以获取请求和指标的详细信息
查看单独会话,以获取请求和指标的详细信息。

Session affinity 默认应用于文本和聊天请求。若需手动分组请求,请在同一对话的每次请求中发送相同的 sessionId(位于 providerOptions.gateway 中)或相同的 x-session-id 请求头。未包含该标识的请求将基于对话开头的指纹进行分组,并以指纹会话的形式呈现。

请参阅 session affinity 文档,了解 AI Gateway 如何识别会话的更多信息。

原始来源: vercel

评论 (0)