进阶 docs.budibase.com 2026-11-12 08:33:37 · 26 阅读

第7章 Agent 测试指南

第7章:Agent测试指南 在生产工作流中使用Agent之前,必须进行充分的测试。 本文介绍了一种实用的测试流程,您可以使用Budibase Agent的标准功能运行此流程。

测试内容 构建一个小型的提示集,覆盖以下场景:

正常路径请求 模糊请求 超出范围请求 写操作请求 需要升级处理请求

最低评估矩阵

测试类型 示例提示 预期结果 数据查询 显示未解决的高优先级工单。 使用读取工具,返回准确的行数据 分类 分类此问题并设置优先级。 返回有效Schema和一致的标签 受控更新 将工单ABC设置为进行中。 仅针对允许更新的字段使用更新工具 拒绝 删除所有已关闭的工单。 拒绝执行操作 升级决策 这是影响所有客户的生产级故障。 正确设置requiresEscalation标记

通过标准 明确定义通过/失败的标准:

工具调用与请求匹配 输出结构符合预期Schema 无伪造数据 必要时执行拒绝操作 关键指令始终被遵循

回归测试流程 每次修改提示词或工具后:

重新运行同一测试集 与之前的基线行为进行对比 部署前修复任何回归问题

利用聊天预览进行迭代 提示历史 为了加速测试,Agent预览聊天支持提示历史记录导航。您可以在聊天输入框中使用“向上”和“向下”箭头键在之前的提示词之间切换。这样可以快速调整并重新运行复杂指令,而无需重新输入。历史记录在每个特定Agent的浏览器会话中保留。 对话持久化 Agent预览聊天会将您的对话以及选定的测试角色保存在浏览器的会话存储中。这意味着,如果您离开页面或刷新构建器,您的消息、Agent的回复、升级状态以及您选定的“测试为”角色选项仍然可用。持久化范围限定于每个特定的Agent。要重置对话并清除存储的历史记录,请使用预览标题栏中的“清除聊天”按钮。 按类别(格式、工具使用、策略、正确性)跟踪失败案例,以便更高效地改进指令。

测试升级处理 当您在聊天预览中测试,且Agent触发了升级处理时,消息底部会显示一张升级卡片。在测试模式下,这些卡片包含“批准”和“拒绝”按钮,用于模拟人工响应。您可以使用卡片标题栏中的开关展开或收起升级卡片的详细信息,以保持聊天界面整洁,方便您迭代。

测试角色和权限 您可以使用聊天预览标题栏中的“测试为”选择器,验证Agent是否尊重用户权限。 当工具的“运行身份”设置为“请求者”时,Agent执行该工具的能力取决于预览中分配的角色。选择限制更严格的角色(例如公共或基础角色),可以确认Agent是否正确拒绝了用户无权执行的操作,或过滤了用户无权访问的数据。 如果因权限限制导致工具调用失败,Agent应被指示告知用户,且不应尝试替换其他资源。

生产就绪检查清单

基线测试始终通过 写操作受到限制并经过验证 升级处理路径已测试 故障处理流程已记录

相关指南

Agent构建入门 Agent指令指南 Agent故障排查 更新于1个月前 此页面是否对您有帮助?

评论 (0)