进阶 pydantic.dev 2026-11-20 05:57:40 · 5 阅读

第3章 Logfire 中的 Coding Agent 追踪:成本、技能与评估

第3章 在 Logfire 中追踪 coding agent:成本、技能与评估

自 Claude Code 首次发布以来,新模型、新能力和新 harness 层出不穷,LLM 正逐渐成为软件开发的主要方式。这些进步大幅扩展了这类工具的适用范围,以至于大多数团队每天都在使用它们。

harness 的巨大进步并没有消除一个核心挑战:过程依然是个黑盒。当 agent 失败或陷入无休止的探索时,从外部很难看清发生了什么。要充分发挥你自己 harness 的作用,你需要知道它在做什么,以及如何利用这些信息。

我日常接触的许多团队都想改进自己的 coding harness,却对记录每次交互是否必要持怀疑态度。在我看来,harness 改进与 tracing 本质上是密不可分的。从外面看,它可能只是简单的遥测数据,但实际上蕴含着丰富的信号,对监控、评估和改进等多个环节都不可或缺。

本文将介绍 coding harness tracing 的几个最有价值的用例,并展示如何形成闭环——把 traces 提供给 coding harness,从而在模型、用户、团队和公司层面持续优化。

为什么 coding harness 需要可观测性

Coding harness 在很多场景下都表现不错,但只有当你积累了一定直觉后,短板才会显现。用这些工具越久,你越会频繁地问自己:

- 我的实际时间和 token 预算都花在哪里了? - 如何从旧会话中捡起有用的上下文? - 为什么我的 agent 在执行任务时会迷失方向? - 这个任务该用哪个 harness 和模型? - 如何形成闭环,让 agent 自己解决这些问题?

这些问题将是我们接下来讨论的重点,我们会深入探讨如何系统地应对每一个。但归根结底,答案都离不开可观测性。harness 提供的那些东西——比如会话日志的输入输出——对分析和改进来说远远不够。

harness 隐藏了过程

Agent 在读文件、查数据库、运行工具、调用 Web API、修改代码,而从 harness 外部看,你只能看到一个显示"正在处理……"的终端。

要获得真实的信号,你需要一套跨服务商工作、能记录从请求到响应完整路径的可观测性方案——而这些绝大部分都藏在 harness 内部。模型调用、工具调用、重试和死胡同都发生在你视野之外,没有任何东西被沉淀下来供长期复盘。在回答上面任何问题之前,你首先需要一份 agent 所有行为的记录。

一份 trace 能给你什么

Logfire 的 coding agent tracing 可以跨会话捕获模型调用、工具执行和请求/响应对,支持多种 harness,具体取决于你配置的采集策略。每个被捕获的步骤中,只要 harness 和服务商提供了元数据,它就会记录时长和用量等信息,缓存读写情况也可能被记录。对受支持的 provider,Logfire 会根据记录的 token 和定价数据估算成本,让你看到会话中受支持且被插桩的调用的预估 API 费用。

这就回答了第一个问题,其余问题的答案也来自同一份数据。操作顺序能揭示 agent 在哪里偏离了轨道。每条 trace 都记录了所用的 harness 和模型,方便你对比不同运行。会话被存储并支持 SQL 查询,旧的工作随时可以查阅。而通过 Logfire MCP server,agent 可以执行 SQL 查询并利用历史操作的上下文——这正是闭环的最终实现方式。

闭环

所谓闭环,就是让你启动的每个 coding harness 都能完整获取丰富的历史会话上下文。接下来几节将用这一模式逐一回答前面的问题。我们会看到如何通过 Logfire MCP server 在 harness 内部对 tracing 数据执行 SQL 操作,从而监控、自动化并改进工作流。

以下例子并非面面俱到,但都是我见过的对团队影响最大的用例。

为你关心的工作建立指标

Coding harness traces 记录的不只是延迟和 token 数量,还包含团队正在做什么、采用了什么模式、低效环节在哪里等丰富信息。不同的组织、团队和用户会因为不同的原因关心这些。借助 Logfire MCP server,任何人都能轻松为自己想追踪的内容开发指标和仪表盘。

无论什么指标,套路都是一样的:在你习惯的 harness 里,直接让 agent 通过 Logfire MCP 创建你想要的仪表盘和视图。由于 Logfire 中大多数组件都是基于 traces 的 SQL 查询,agent 可以协助构建和修改视图。

下图概括了这一流程,后续所有例子都用到了它。

后续示例的流程:用自然语言向 coding agent 提出请求,请求经 Logfire MCP server 对 trace 数据执行 SQL,创建面板(这里是每个 agent 完成一轮的平均 cycles 数),并回复面板链接。

在这个例子里,agent 接到"按 agent 统计完成一轮的平均 cycles 数"的请求后,查询数据、找到相关字段、创建新面板、生成按 harness 分组的平均操作数查询,完成后回复了面板链接。

追踪编码生产力

由于查询可以访问 trace 的任意维度,而 trace 本身就代表编码工作,你可以开发面板来追踪与生产力相关的具体操作,比如 commits 和 pull requests。下图展示了随时间变化的 commits 数量及其新增和删除的行数,可以帮你直观判断 agent 是否进行了大规模删除,或单个 commit 操作的规模是否异常偏小或偏大。

每个 commit 新增与删除的行数,来自 agent traces。

下图展示了从首次 commit 到创建 PR 的耗时,以及从首次编辑到 commit 的耗时。这类视图之所以可行,是因为 coding agent 通过 bash 工具执行 git 操作,其结构可以被 SQL 查询可靠地解析。traces 中包含编码操作与最终 CI/CD 之间的时序和关联,因此我们可以直接从 traces 追踪 commits 和 PR 所投入的时间。

10 月间从首次 commit 到创建 PR 的耗时(上)与从首次记录的编辑到 commit 的耗时(下),每个 PR 或 commit 一个点。

追踪成本与时间

如果你想搞清楚 token 和时间都花在哪了,展示支出随时间变化和操作耗时的图表是很好的起点。下面的可视化展示了 4 种不同 agent harness 在 2 个月内产生的 token 成本。从这类图表出发,你可以开始评估低效之处和改进机会。

9 月到 10 月四种 harness(Claude Code、Codex、Cursor 和 Copilot)的每日 token 成本(美元)。

如果要在 harness 和模型之间做一般性比较,你可以拆解性能的各个方面,感受不同配置的效率差异。下面的图表对比了不同 harness 和模型在每轮平均工具调用次数和每次调用平均 token 数上的表现。监控这些特征可以提供早期信号,提示某个配置更高效,并引发我们稍后会讨论的针对性实验。

每轮平均工具调用次数(上)和每次调用平均 token 数(下),分别按 harness(左)和按模型(右)分组。

监控软件工厂

软件工厂用一组协作的 agent 把代码送过开发流水线。最近我在改进自己软件工厂的配置,并加入了 harness 遥测来捕获各个会话。我特别关心任务在流水线中流转需要多久、消耗多少 token。下面的图表暴露了问题。

虽然 implementation 和 test 阶段的成本通常低于 review 阶段,但流水线卡在了昂贵的"评审—修复"循环里,导致 review 和 review-fix 阶段的 token 用量和成本居高不下。我们稍后会在讨论评估和不同 reviewer 配置的实验时,重新审视如何解决这个问题。

软件工厂流水线各阶段成本(美元)。review-fix(43.30 美元)和 review(36.80 美元)两个阶段合计约占 132 美元总额的 60%。

利用过去的工作

结束一个会话通常意味着上下文被丢弃。如果之后需要回顾先前的工作,你一般只有三个选择:

- 在同一个会话里继续,让完整上下文持续消耗 token - 从零开始 - 搭建一套由 agent 负责维护的文件系统模式

借助 coding harness tracing 和 Logfire MCP,你可以在新会话中取回先前的工作流,跨 harness 使用,并且只提取相关的上下文,不会撑大你的会话。

这一模式的价值远不止恢复先前的工作。下图展示了 coding harness tracing 支撑的三种模式。

Coding harness tracing 带来的三种模式:跨 harness 共享上下文、基于完整历史的调试与评审,以及用于实验的分支 turn。

跨多个 harness 拆分共享上下文

第一种模式是在某个特定节点截取先前会话的上下文,分支到多个 harness 协作完成任务——本质上是从共享认知出发,然后依靠各自的 tracing 来沟通。这在把一个会话中规划好的工作拆分到多个 harness 实现时非常有用。它比写一份规划文档更可靠,因为每个决策都已经编码在会话 tracing 里了。

这在实验流程中同样好用:评估不同 harness 或模型的表现时,需要保持完整上下文完全一致。稍后展示如何在同一组代码评审任务上比较不同 harness 时会用到这一点。

调试与评审会话

在调试和评审上还可以更进一步。执行代码评审时,agent 可以查看完整会话来判断结果与意图是否对齐。这比单纯检查代码能不能跑、符不符合描述,更能代表用户的真实意图。我发现让 reviewer 使用 Logfire MCP 后,评审反馈会更好、更可执行,事后返工也更少。

能访问先前会话的上下文,意味着 agent 在调试今天出现的问题时,可以审视自己过去犯的错。在常见的"agent 造出来的东西出故障"场景中,你既有故障的记录,也有实现的完整过程和最初的意图。这些额外信息能大大加速改进,并沉淀为长期记忆,避免下次重蹈覆辙。

分支 turn 用于实验

如今大多数 harness 都允许从某个 turn 分支出新会话。而借助 coding harness tracing,你可以从任何 harness 的任何已记录 turn 分支出新会话。这对实验流程来说再合适不过——你需要在完全相同、上下文一致的任务上对不同 harness 做公平比较。

在构建自己的 harness 或软件工厂时,这个模式尤其有用。你可以收集各种场景,将成熟的 agent 与你正在构建的 harness 的处理方式进行对比,并按你关心的标准来评估。

把反复出现的问题变成新技能

当 agent 缺乏保持方向所需的上下文时,重复性任务的结果往往不稳定,典型表现是长时间的跑偏探索、不必要的反复确认,以及未完成的任务。借助 coding harness tracing,这些糟糕表现的记录就成了关键信号,可以用来打造覆盖全流程的技能。

人们最容易卡住的地方,是把相关信号转化为有用的技能。借助 coding harness 和 Logfire MCP server,你可以把过程拆成 4 个可重复的阶段。

第一步,从 traces 中收集证据供 agent 创建新技能使用。为确保技能符合预期、消除歧义,你要和 agent 一起,基于历史成功与失败的证据梳理出可重复的流程。有了证据和流程,就可以让 agent 起草新技能。最后一步是验证技能,确保它确实解决了问题而没有引入新问题。为此,你可以用第一步收集的会话上下文设计一个实验,比较加载与不加载该技能时同一 harness 的表现。

完整流程如下图所示:

从 traces 构建技能的四个阶段:收集证据、确定 happy path、创建技能、通过对比加载与不加载技能的运行来验证改进。

为了演示这个流程、证明它确实有效,我将带你走一遍最近遇到的一个真实场景。

收集证据

如果同一个问题在流程中出现了不止一次,通常说明 agent 缺乏所需的上下文或方向。我经常用 Logfire MCP server 通过对 traces 的查询来创建仪表盘面板。在创建新仪表盘时,一般会有 1-2 个无效查询,还有几个面板需要返工才能正确。

为了解这个问题的普遍程度,我用 Logfire MCP 搜索了 coding agent traces 中的无效查询和返工,得到下面这份产物:

Agent 根据 traces 生成的证据报告。每条记录一次修正,比如一个重复计算缓存输入 token 的查询。

Agent 还把错误做了归类并逐条列出。这批证据是开发新技能 logfire-dashboard-query 的完美起点。

确定 happy path 并创建技能

在缺乏证据、仅凭对失败的预设的情况下创建技能,通常只会带来不必要的冗余。有了问题和解决方案的证据,你就可以和 agent 一起迭代技能的预期。在这个例子里,我希望 agent 校验查询、避开常见坑点,并对自己创建的仪表盘做对齐检查。

这些交互里还包含了我的个人偏好和最佳实践,因此我希望把它们泛化地编码到之后创建的每一个面板中。这一步有些细节需要注意,但在这里你也可以开始确定后续用来评估技能的标准。

本次技能验证的标准基于:查询的有效性、创建面板所需的步骤数,以及处理不同类型变量的方式。

验证改进

要真正验证改进,你需要精心设计实验。各次 agent 运行必须使用相同的 harness 配置、相同的会话和 prompt,唯一的差异只能是技能的有无。幸运的是,你既可以用 Logfire MCP server 把已收集的 traces 当作测试集。这就是前面"分支 turn 用于实验"的一个实例——你需要原样取回先前的上下文和调用,不带任何透露上次结果的线索。

在这个实验中,我准备了 12 个混入各类错误的仪表盘面板创建场景,在同一个 codex harness 上分别加载和不加载技能运行。结果如 Logfire 实验视图所示:不加载技能时,12 次运行中有 9 次失败,且出现了几处格式错误;加载技能后,所有场景全部成功、零错误。

Logfire 实验视图,对比不加载技能(baseline)与加载技能(candidate)的运行。通过用例从 3/12 提升到 12/12,断言从 57/72 提升到 72/72。差距最大的是 sql_executes,从 25% 提升到 100%。

评估与改进 harness

本文要展示的最后一种模式,把前面介绍的多种方法组合起来,目标是真正改进你的 harness 或优化工作流。用 coding agent 时间久了,你会注意到换用不同模型、harness 或指令时行为上的微妙差异。有些模型因过度工程浪费 token,有些在长任务中过早停摆,还有陷入探索循环的可能。

面对 agent 行为问题,有几种选择:调整上面提到的任意变量;自己造一个 harness;或者视而不见指望它会变好。每种方法单独使用的问题在于,你没有数据来验证改动是否达到了预期效果、是否引入了需要再修的新问题。

这正是 agent 改进实验流程的用武之地。其步骤与新技能的开发类似,如下图所示:

评估工作流:为某任务挑选可比较的 traces,构建保留每条 trace 上下文及所用模型与 harness 的数据集,应用一致的标准,然后按分组得分比较各 agent。

寻找 traces 并构建数据集

第一步是为你想改进的场景收集示例 prompt。你需要同时涵盖好行为和坏行为的例子,既能校验标准,也能防止回归——你总不希望改了这里、坏了那里。

在这个例子中,我回到前面的可视化,注意到在软件工厂里,agent 修复(fix)实际上是最昂贵的操作。

软件工厂流水线各阶段成本(同上图)。review-fix 是最昂贵的阶段,达 43.30 美元,因此实验针对 reviewer 和 implementation agent。

为了减少返修需求,我设计了一个两步实验序列:

- 优化 reviewer agent,使其不会因为细小的风格偏好而频繁否决,同时仍然遵守 prompt 中给出的指令和约定。 - 优化 implementation agent,使其产出的代码能通过评审,不需要修复循环。

本文只聚焦第一阶段:提升 reviewer agent 的专注度和表现。作为起点,我在不同 harness 的 traces 中搜索评审运行的例子。为了让实验规模可控,我从小型 PR 评审中收集了 5 个例子。

五个匹配的代码评审用例,均来自真实变更,并标注了各自 diff 的大小:跨六个模块的 agent 别名重构、derivation 模型、一个模板边界、一个 web derived view 和一个 prompt-sync web 客户端。

由于这些数据要用于实验,需要把上下文加入 Logfire 数据集。数据集正是为这种场景设计的:固定的一组示例用例,供用不同 agent 或 harness 配置重新运行评估时使用。由于原始评审的结论无关紧要,我只收集了输入原始评审步骤的上下文,供实验复用,并据此构建了数据集。

我选择用 3 种不同的 coding harness 测试这 5 个评审任务,看看该在软件工厂的评审环节接入哪一个。我比较了 Claude Code 搭配 haiku-5.5、Codex 搭配 gpt-6-luna 和 Cursor 搭配 composer-2.5,看谁的 PR 评审最有效。

评估标准

实验与改进流程中最关键的组件莫过于评估标准。这是你把对齐要求编码进所开发系统的地方。要记住,大多数标准的作用是约束不良结果,而不是逼近某个最大或最小值。在评审场景中,我设计了两个基于评审 agent 输入输出、异步运行的 agent 评估。

第一个评估检验 reviewer 吹毛求疵的程度,对那些因格式或风格选择而给出的过于敏感的评审否决进行惩罚。为了平衡评审过于宽松的风险,第二个评估衡量 agent 对指令中约定规范的遵守程度。在我的软件工厂里,每个 agent 都会收到一组需要遵循的约定,大致规定了用什么框架、代码如何组织。第二个评估惩罚与这些编码期望不符的情况。

实验与结果

数据集和评估器就绪后,剩下的就是运行实验并解读结果。这里的"实验"指:用数据集中的 prompt 调用 agent,对结果运行评估,再跨用例汇总,得出每项标准的整体表现。

在 reviewer 实验中,每个评估器按 1-4 分对响应打分,评审中出现的问题越严重,分数越低。下表是各 harness 和模型的实际打分。PR 的结论不纳入 agent 表现的分析,但值得注意的是,有些 harness 明显更严格或更宽松,这也反映在评分里。

Codex、Claude-Code 和 Cursor 各 5 次评审。表格展示了每次评审在两项评估标准上的单项得分。

汇总结果非常清晰。Codex 搭配 gpt-6-luna 在遵守规范和避免吹毛求疵两项上都显著优于 Cursor composer-2.5 和 Claude haiku-5.5。事实上,两项标准的排名完全一致,Claude 垫底。这里的 quality average 是两项评估标准的平均分,而 overall average 只是额外纳入了第三个指标,用于确保评审给出了最终结论(所有运行都做到了)。

Claude Code、Cursor 和 Codex 配置在五个用例上的评审得分(满分 4 分)。Codex 在每个面板上得分最高(总体 3.93),Cursor 次之(2.80),Claude Code 最低(2.60)。

接下来去哪

本文展示的模式在如今大多数 coding agent 配置中都能直接使用,但它们远不是 Logfire 这类可观测性框架的全部潜力。新功能每天都在涌现,但所有这些都需要数据和实验来驱动性能与效率的提升,就像本文所展示的那样。这些模式说明了 tracing 与实验如何帮助团队提升 coding agent 的表现和效率。

评论 (0)