第21章 AI Agent 可观测性:生产环境必备的基础层
本文由 Vstorm 客座撰写。
不久前,我们的一个 agent 非常自信地给了一位客户一个错误答案。没有异常,没有测试失败,日志也干净得很。我们花了大半个上午才搞清楚发生了什么:模型在上游三步处用错误的参数调用了正确的工具,然后基于这个错误的结果一路顺畅地推理,最终得出了一个流畅、貌似合理、但完全错误的结论。
那个上午就是这篇文章的全部论据。Agent 归根结底还是软件,所以解决方案不是什么新哲学,而是同一套工程纪律,只不过瞄准了更难的目标:让一个非确定性系统具备足够的可观测性,让你能读懂它做了什么,而不是靠猜。这一层就是 AI agent observability——如果你要把 agent 推向生产环境,它不是可选项。
传统监控看不到的故障模式
你现有的技术栈假设代码路径是确定性的。同一个输入总是返回相同响应的 HTTP handler 很好监控。Agent 打破了这个假设:同一个查询在连续运行时,可能产生不同的工具调用序列、不同的中间推理,以及不同的最终输出。
更糟的是,agent 出故障时不会触发任何告警。死循环、选错工具、丢弃上下文、长推理链中的质量退化——这些几乎都不抛出错误。你习惯捕捉的异常,被一个看起来无比自信的幻觉取代了。
这带来两个后果。调试的基本单位从请求变成了会话:孤立的 trace 毫无意义,只有通过共享标识符把它们连成一张可读的执行图才有价值。而且成本和延迟会随着步骤逐级累积,如果没有逐步的 LLM 成本追踪,你就只能在账单寄到时才知道一个 agent 花了多少钱。
团队现在的应对方式,以及为什么撑不住
大多数团队的直觉是用已有的工具。它们能凑合,而这恰恰是危险所在。
第一种直觉是把传统 APM 指向这个问题。常规的请求监控能捕捉延迟和错误率,但缺少 AI/agent 集成,就没有 token、prompt、工具调用、评估结果这些概念,对真正重要的信号视而不见。第二种直觉是 print 语句加翻日志,演示够用,一旦每天超过几百次运行就无能为力了。第三种是用只面向 LLM 的工具来追踪 prompt 和补全结果。
最后这种最接近,但默认情况下仍然不够。Agent 不同于聊天补全的地方,在于“调用工具、观察结果、迭代”这个循环。面向 LLM 的集成或许能自动捕捉模型和工具的 span,但数据库查询和其他应用层工作还需要应用侧的埋点。
AI agent observability 层必须捕捉什么
在点名任何工具之前,先明确目标。一个有用的 agent 可观测性层必须捕捉五件事:
Agentic 循环以 span 呈现。规划、调用工具、观察结果、迭代,每一步都有自己的耗时和错误面。 一条关联的全栈 trace。LLM 调用、工具执行、数据库查询、业务逻辑在同一条时间线上,这样你才能判断问题出在 AI 还是后端。 逐步的成本和延迟。每一步都附带 token 用量和花费,而不是最后求个总和。 会话关联。跨多 agent 交接的父子 span,让 orchestrator 和它的 workers 读起来是一张完整的图。 底层采用可移植的标准。基于 OpenTelemetry 构建埋点,避免被锁定。OpenTelemetry 已合并了针对 LLM 工作负载的语义约定,为 OpenTelemetry agent tracing 提供了标准定义。
下面把同样的想法画成一张覆盖图。重点不是某个工具 logo 更多,而是这些信号应该出现在同一条时间线上,而不是散落在四个工具里拼接出来。
维度 传统工具 Pydantic Logfire
API 监控 Sentry / Datadog 支持
数据库查询 Datadog 支持
Redis / 缓存 Datadog 支持
后台任务 Datadog 支持
LLM 调用(OpenAI、Anthropic) LangSmith 支持
AI agents(LangChain、Pydantic AI) LangSmith 支持
系统指标 Datadog 支持
用 Pydantic Logfire 来做
Logfire 是 Pydantic 团队推出的 AI 原生可观测性平台,本质上是 OpenTelemetry 之上的一层有主见的封装。对采用者来说最关键的一点是:它不需要你重写代码。你只需初始化并在入口处给 agent 埋点,完全不用动 agent 代码本身:
import logfire
logfire.configure() logfire.instrument_pydantic_ai()
接下来,不少功能是免费送上门的:会话回放、工具调用检查、token 与成本拆解——因为 Logfire 会自动识别 span 中的 GenAI 语义约定。上面提到的逐步 LLM 成本追踪,不用写任何定制代码就覆盖了。
全栈视角才是真正的差异化。调试一个 agent 时,你其实是在问三个问题:是模型的问题、工具的问题,还是后端的问题?只面向 LLM 的工具只能回答中间那个。而 Logfire 追踪整个技术栈,三个问题都落在同一条 trace 上。
还有两点是我后来特别依赖的。Logfire 支持用 SQL(兼容 PostgreSQL)查询可观测性数据,还内置了 MCP server,所以编码 agent 可以直接查询生产环境,问出那些没人做过仪表盘的问题。另外它与 pydantic-evals 集成,你在生产中捕获的 trace 可以直接变成评估数据集。从事故到测试,闭环就此完成。
当可观测性成为一等公民,会发生什么变化
如果这一层从第一天就在,而不是事故之后才补上,会有三件事不一样。
调试不再是考古。你读一条 trace 就能找到链条在哪里跑偏,而不是反复重跑 agent,祈祷它复现同样的错误。成本不再是惊喜,因为每一步的花费是一个你随时盯着看的数字。生产环境也不再是黑盒:每一条捕获的 trace 都是潜在的测试用例,系统的改进变得可衡量,而不是停留在轶事层面。而且因为这建立在一套开放的底层原语之上,任何基于 Pydantic AI 的东西都能自动继承这些能力。Pydantic Deep Agents——一个开源的 deep-agent 框架(坦白说,它出自我们 Vstorm 团队)——用同一行配置就能点亮这一切。
这些都不是什么高深玩意。 tracing、metrics、evals,还是我们一直在用的那套原语,只是应用在了一个恰好会“把思考过程说出来”的系统上。Agent observability 不是附加品,而是在生产环境中负责任地运行 agent 的前提。或者借用一句老话:AI,终究还是工程。
想在一个真实的 agent 框架里看到这些原语吗?
Pydantic Deep Agents 是一个基于 Pydantic AI 构建的开源、可自托管的 agent 框架:规划、沙箱执行、子 agent 团队和 skills,支持任意模型。用 Logfire 埋点,本文的 trace 视图就免费到手。
github.com/vstorm-co/pydantic-deepagents