第45章 监控告警

百炼平台提供监控告警与日志功能，用于实时监控模型调用状况、及时发现异常并排查问题。 ​模型监控概览 百炼平台提供统一的模型监控功能，调用发生后分钟级之后即可在监控图表查看，帮助实时掌握模型调用状况。模型监控数据按业务空间隔离，仅可查看当前选中业务空间的数据。监控数据仅供参考，不作为计费依据，如需对账请前往费用中心查看账单。 监控与告警支持因模型而异：语音、图片、视频生成及三方直连等部分模型不支持，具体请前往控制台确认。 本文档按功能模块组织：模型调用排查从审计日志入手，告警配置见告警节，数据投递开启方法见数据投递节。 ​按维度筛选监控数据 支持按时间（快捷选择和自定义）、推理类型和API-Key（默认全部，展示 ID 和描述，仅展示当前业务空间下已存在的 API-Key）筛选监控数据。时间精度筛选仅在模型监控详情页提供。 ​查看整体调用规模与健康度 概览页展示模型总量、总调用次数、总失败次数、平均调用时长和平均首包时长（即首 Token 延时）等数据卡片，用于快速判断整体调用规模与健康度。 ​查看某模型的监控详情或日志 模型列表展示当前业务空间下各模型的监控数据，支持点击查看详情进入模型监控详情页，或点击查看日志进入日志页面的审计日志页签。登录百炼控制台，在左侧导航栏选择运维管理 > 模型监控进入监控概览页。 ​模型监控详情 在监控概览页的模型列表中，找到目标模型，点击查看详情进入模型监控详情页。页面顶部的导航路径为：模型监控 > 模型名称。 详情页展示单个模型的调用统计和性能指标图表，并提供告警配置入口：指标图表上的告警铃铛可为当前模型/指标快速配置告警（跨模型的完整规则管理见告警节）。筛选条件与概览页一致（时间、时间精度、推理类型、API-Key），从概览页进入时保留概览页配置。查看日志请返回概览页模型列表，点击「查看日志」入口进入（见日志节）。 ​监控指标 详情页图表分调用统计与性能两组展示监控指标，各指标的含义、参考说明与是否支持告警见下表。 指标名称含义参考说明是否支持告警调用次数模型被调用的总次数随业务波动可配置告警调用量Token总量随业务波动可配置告警失败次数调用失败次数随业务波动可配置告警失败率失败次数除以总次数随业务波动可配置告警调用时长请求到响应的总时间随模型与场景波动可配置告警首 Token 延时从请求发起到返回首个 Token 的延时随模型与场景波动可配置告警非首 Token 延时首 Token 之后生成每个 Token 的平均耗时随模型与场景波动不支持告警模型消耗 TotalToken 数按模型维度统计的 Token 消耗总量（预置告警模板专用指标）随业务波动可配置告警平均单次请求调用量每次请求平均Token量随业务波动不支持告警内容安全错误次数内容安全拦截次数随业务波动不支持告警限流错误次数429 限流触发次数随业务波动可配置告警RPM每分钟请求数随业务波动不支持告警TPM每分钟Token数随业务波动不支持告警单次请求输出Token速度TPS每秒输出Token数随模型与场景波动不支持告警缓存命中量上下文缓存命中的 Token 数随模型与场景波动不支持告警缓存命中率缓存命中 Token 数占输入 Token 数的比例随模型与场景波动不支持告警 一个指标是否支持告警，取决于预置告警模板是否包含该指标（预置模板见告警→预置告警模板）；不在预置模板中的指标（如内容安全错误次数、RPM）不展示告警铃铛，无法为其配置告警。 关于错误码和限流的详细信息，请参见错误码。 排查调用失败突增，重点关注失败次数、限流错误次数、失败率三项；排查性能退化，关注首 Token 延时与平均调用时长的持续上升趋势，并为关键指标配置告警。 ​告警铃铛配置 支持告警配置的指标在图表中展示告警铃铛图标，点击铃铛可打开告警规则配置侧边面板（字段详见告警规则管理节）。铃铛图标与侧边面板状态标签的含义如下： 类型状态颜色含义铃铛图标未配置告警灰色未配置告警规则，点击打开配置侧边面板铃铛图标已配置告警正常蓝色已配置规则且当前未触发，点击查看规则详情铃铛图标告警中红色告警正在触发，点击查看触发详情侧边面板标签正常绿色规则已配置且状态正常侧边面板标签告警中红色告警正在触发侧边面板标签已禁用灰色规则被关闭，不再产生告警 点击铃铛后，告警侧边面板按告警状态（正常=未触发、告警中=正在触发、已恢复=告警触发后已恢复）展示不同字段： 字段名称正常已恢复告警中告警规则名称展示展示展示告警规则ID展示展示展示告警内容展示展示展示告警指标展示展示展示通知对象展示展示展示告警对象展示展示展示开始时间不展示展示展示持续时长不展示展示展示告警数量不展示展示展示状态不展示展示展示恢复时间不展示展示不展示 ​告警 百炼平台提供告警规则、告警模板与告警历史三个功能，均在模型告警页面的告警规则、告警模板、告警历史三个页签下。 ​告警规则管理 在模型告警页面点击告警页签，进入告警规则管理页面。告警规则列表展示当前生效的告警规则，支持创建、编辑、停止、删除操作。列表展示通知对象（联系人/联系人组），支持邮箱等多种渠道。 首次配置告警的完整路径：先在数据投递→监控数据投递完成云监控服务角色授权 → 在本节创建告警规则（选择告警模板、填写字段）→ 配置告警通知（联系人/联系人组、通知时段、重复策略）。 控制 Token 成本，为"模型消耗 TotalToken 数"配环比突增告警；保障可用性，为"调用失败率"配告警；两者均可直接选用预置告警模板。 创建告警规则前，需要先在模型监控投递中授权云监控服务角色（配置方法见数据投递→监控数据投递节）。如果未授权，创建告警规则按钮不可点击，鼠标悬停提示"未授权云监控服务角色，无法创建告警规则。点击授权"。授权后，后台自动开通云监控服务。 授权后将自动开通云监控、阿里云日志服务（SLS）及 Prometheus 产品，告警规则免费使用，已开通产品按实际用量计费。 点击创建告警规则，新打开一个页面。 按下方字段说明填写告警名称、告警模板、模型、持续时间、告警检查周期、告警内容、告警等级。 配置告警通知（告警联系人/联系人组、通知时段、重复策略）后点击创建完成。 表单字段说明如下： 字段是否必填说明告警名称必填最大长度 50 字符告警模板必选可从下拉列表选择预置或自定义模板，或基于模板另存为创建模型选择必选最多添加 50 个模型持续时间必填以分钟填写告警检查周期必填默认 60 秒，单位为秒，必须为不小于 0 的整数（0 表示触发即告警）告警内容必填最多 200 字符，支持变量（可插入业务空间、模型、当前值等占位符）告警等级可选INFO（普通）/WARNING（警告）/ERROR（错误）/CRITICAL（紧急），默认 INFO告警联系人/联系人组可多选来源云监控联系人/联系人组通知时段必填支持 24 小时内任何区间，可跨天（如 23:00 至第二天 01:00）重复策略必填不升级指告警未恢复状态下只发送一次，或指定小时+分钟间隔重复通知 针对存量已开启高级监控且配置了告警规则的用户，支持一键将告警规则从云监控 Prometheus 实例迁移到百炼平台。当前仅支持迁移由平台创建的告警规则，在云监控侧创建的告警规则不支持迁移。 在告警规则列表上方，点击立即迁移或迁移告警规则。 确定迁移来源。查看 Prometheus 实例名称和状态，点击开始检测。 检查告警规则。系统检测可迁移和不兼容的告警规则，勾选确认后点击开始迁移。 迁移告警规则。迁移过程中展示"迁移中"状态，迁移结束后展示迁移成功或迁移失败结果，迁移失败可重试，迁移成功后关闭弹窗。 迁移完成后，Prometheus 实例中的告警规则会被禁用（不删除），可在 Prometheus 侧手动删除。迁移任务保留 6 小时，迁移过程中刷新页面任务不会中断。迁移成功后不再需要二次迁移，迁移入口隐藏，仅展示迁移成功的行内提示。 告警规则支持停止、编辑和删除操作。 告警支持范围：当前仅特定指标可配置告警，具体可配置项在模型监控详情节指标说明表中按行标明。 ​告警模板 告警模板是预设好触发条件的告警配置，可基于模板快速创建告警规则，无需从零配置。当前系统预置 12 条模板，也可自建模板。告警模板页签位于模型告警页面，与告警规则页签、告警历史页签同级。 点击创建告警模板弹出告警模板创建侧边面板，填写以下信息： 模板名称：必填，最多 20 字符。 参数选择：支持最多配置 10 个参数。选择全部规则符合条件时触发告警（AND）或有一个满足条件就告警（OR）。 指标：必选，用于选择告警监控的指标，下拉选项包含调用次数、失败次数、失败率、调用时长、首 Token 延时等。 告警阈值：必填，选择比较符号（>、>=、<、<=、==、!=）和数值。 统计周期：单位为分钟，合法范围 1~10080 分钟。 系统预置的告警模板在名称后标注预置标识，支持查看详情和复制，不支持编辑和删除。用户自定义的告警模板支持查看详情、编辑、删除和复制。优先使用预置模板覆盖常见告警场景（指标/阈值已按典型负载预设），填参数即可用；自定义模板承载复杂复合条件与业务化规则。预置告警模板支持的指标如下表所示： 预置告警模板名称指标名称模型调用失败次数1分钟总和大于10模型调用失败次数模型调用失败占比1分钟总和大于1%模型调用失败占比模型调用4xx次数1分钟总和大于10模型调用4xx次数模型调用4xx占比1分钟总和大于1%模型调用4xx占比模型调用429次数1分钟总和大于10模型调用429次数模型调用429占比1分钟总和大于1%模型调用429占比模型调用5xx次数1分钟总和大于10模型调用5xx次数模型调用5xx占比1分钟总和大于1%模型调用5xx占比模型调用次数1分钟总和大于500模型调用次数模型调用时长1分钟均值大于60秒模型调用时长模型首包时长1分钟均值大于10秒模型首包时长（首 Token 延时）模型消耗 TotalToken 数1分钟总和大于10000模型消耗 TotalToken 数 ​告警历史 在告警页面点击历史页签，查看告警触发记录。告警历史列表中告警联系人/组仅展示联系人的信息，不展示相关的通知渠道信息。 2026年9月3日前的告警历史请前往云监控控制台查看。 告警历史支持按告警时间（快捷选择和日历选择）、告警规则、告警等级、状态（已恢复/告警中）四个条件筛选。 告警历史列表展示以下列： 列名说明告警实例告警实例标识告警等级普通/警告/错误/紧急告警时间告警触发时间告警数量该告警的触发次数告警规则告警规则名称与 ID状态已恢复/告警中告警联系人/组告警联系人/联系人组操作查看详情（打开告警详情侧边面板） 点击列表中的查看详情打开告警详情侧边面板；详情侧边面板的状态仅有已恢复与告警中两种。 ​日志 百炼平台默认记录审计日志（存储在平台侧，无需配置），记录每次模型调用的请求信息但不包含 Prompt/Response。推理日志记录完整的 Prompt/Response 与中间步骤，需手动开启，并依赖日志投递将日志写入自有的日志服务（SLS）日志库（日志投递见数据投递节）。 ​审计日志 审计日志默认针对所有用户开启，无需配置，存储在百炼平台侧。审计日志记录每次模型调用的请求信息，包含 Request ID、时间、模型、Token 用量、延迟、状态等核心指标，不包含 Prompt 和 Response 内容。如需查看完整的 Prompt 和 Response 内容，请开启推理日志（开启方法见推理日志节）。 ​筛选条件 审计日志支持以下筛选条件： 时间范围：默认最近 7 天，最长支持 30 天的日志查询。 模型：下拉选择，默认全部模型。 API-Key ID：下拉选择。API-Key 展示 ID 及其描述；如果 API-Key 被删除，描述为空。 状态：支持多选，包括 0（请求成功但用户主动中断）、200（成功）、4XX（用户行为导致的异常）、5XX（服务不可用）。 推理类型：默认实时推理。 搜索 Request ID：支持精确匹配。 ​日志列表 审计日志列表展示以下字段：Request ID、调用时间、模型、用量、首 Token 延时、调用时长、状态、API Key、错误码。操作列提供查看详情，点击弹出审计日志详情侧边面板。 ​详情侧边面板 审计日志详情侧边面板支持列表和 JSON 两种形式切换： 基本信息：Request ID、调用时间、模型、API-Key 用量：全部 Token、输出 Token、输入 Token 性能：首 Token 延时、调用时长、状态码、错误码及错误信息（如有） API-Key 的创建和管理，请在百炼控制台的系统管理中操作。 ​推理日志 推理日志需手动开启。在审计日志基础上，推理日志额外记录完整的 Prompt/Response 与中间步骤，用于调试、优化与问题排查。推理日志存储至自有日志服务日志库。 ​开启推理日志 推理日志默认未开启，需先开启审计日志投递。在日志页面切换到推理日志页签（未配置时该页签展示引导开启页），点击开始配置弹出日志投递配置弹窗；也可点击日志页面右上方的日志投递配置按钮进入。完成授权与日志库配置后即可查看推理日志列表。 推理日志目前仅在北京和新加坡地域支持，其他地域暂不支持。 ​日志列表与详情 推理日志筛选条件与审计日志相同，但去掉了推理类型筛选（实时推理/批量推理）。对于不支持推理日志的模型，展示"当前模型不支持"。 推理日志列表在审计日志基础上增加 Prompt 和 Response 数据，长度上限为 128K，超过 128K 的部分被截断，如需完整内容请查看实际调用日志。 API-Key 被删除后的展示规则与审计日志一致（列表不展示描述，详情仅展示 ID）。 推理日志可回流为训练数据集，详细信息请参见日志回流。 推理日志记录完整 Prompt/Response，适合复现异常请求、调试模型输出与排查偶发问题。 ​数据投递 百炼平台默认在平台侧存储监控指标与审计日志，无需投递即可在控制台查看。如需将监控指标或日志投递到自有云产品（用于长期留存或对接自有运维系统，会产生云产品费用），开启对应的数据投递：监控数据投递至云监控 Prometheus 实例，日志投递至日志服务（SLS）日志库。日志投递也是推理日志的前提。 开启推理日志并将日志投递到自有 SLS 日志库会产生日志服务费用。 在 SLS 侧不支持修改索引，修改索引会导致查询失败。 在 SLS 侧不要删除百炼创建的 SLS 日志库，删除之后会导致日志投递失败。 ​监控数据投递 模型监控投递入口位于模型监控概览页左上方。模型监控投递功能支持将百炼模型的监控数据自动投递到阿里云云监控服务的 Prometheus 实例中，实现监控数据的统一管理。百炼平台默认提供模型服务指标，无需额外配置即可在平台查看。若需将指标投递至账号下的云监控产品，需开启数据投递功能并配置目标资源。 ​配置步骤 针对新用户，配置模型监控投递需完成以下步骤： 授权云监控服务角色。 开通云监控服务。 创建云监控 Prometheus 监控实例。 模型监控投递当前仅支持云监控的 Prometheus 实例，不支持自建的 Prometheus。针对存量已开启监控投递的用户，已有配置自动迁移，平台监控数据自动投递至之前开启监控投递的 Prometheus 实例，不支持修改 Prometheus 实例；开启投递后，监控数据在平台侧与用户侧双端存储。 存量已开启高级监控的用户会默认开启监控数据投递；如不需要，可在模型监控投递入口关闭。 ​投递状态 配置数据投递后，在模型监控投递旁展示状态标识： 投递中（绿色） 投递失败（红色） 未配置投递（灰色） 投递开关按钮为调用统计和性能指标投递。授权详情默认展开。 ​日志投递 日志投递配置入口位于日志页面右上方。在模型监控概览页选择模型进入详情页后，切换到日志页面即可看到该入口。日志投递功能将百炼模型的审计日志和推理日志自动投递到阿里云日志服务的日志库中，实现数据的统一管理。若需将日志投递到账号下的日志服务产品，开启日志投递并完成配置。 ​配置步骤 首次配置日志投递需完成以下三步： 授权日志服务角色 开通日志服务 创建日志库 存量已开启日志投递的用户无需重新配置，原配置自动沿用，不支持更换日志库。 ​审计日志投递 开启或关闭审计日志投递后，页面顶部会短暂弹出操作结果提示。授权和配置流程与上方配置步骤一致。 ​推理日志投递 开启推理日志投递前，需先开启审计日志投递（审计日志投递未配置时不支持开启推理日志投递）。推理日志投递的授权和配置流程与上方一致。 关闭审计日志投递后，推理日志投递也将关闭。 配置完成后，在日志投递配置旁展示状态标识，三态含义与监控数据投递状态一致。 关闭日志投递后，关闭期间产生的日志不会同步到 SLS 日志库，且之后无法补录复原，请谨慎关闭。