为 LLM 应用与 Agent 提供可观测性追踪、评估与调试

方案简介

为 LLM 应用与 Agent 提供可观测性追踪、评估与调试。MLflow 提供追踪平台，OpenTelemetry 提供标准追踪协议，OpenAI autolog 自动采集调用链

亮点与能力

• 捕获 LLM 应用与 Agent 的完整调用链，获得深入的行为洞察
• 基于 OpenTelemetry 构建，支持任意 LLM 提供商与 Agent 框架
• 监控生产环境的质量、成本与安全性
• 系统化评估，提供 50+ 内置指标与 LLM judge，可自定义
• 追踪质量指标随时间的变化，在问题进入生产前捕获回归
• 提供 Prompt 版本管理与自动优化
• 提供 AI Gateway 统一管理 LLM 提供商的请求路由、限流、回退与成本

前置要求

• Python 环境与 MLflow Python SDK（可通过 PyPI 安装，仓库提供 uvx 快速启动方式）
• MLflow 亦支持 TypeScript/JavaScript、Java 等其他语言

实施步骤

最快方式是使用 CLI 一键为你的应用加入追踪：

bash
uvx mlflow@latest agent setup

该命令会安装 MLflow skills 并启动你选择的 coding agent 为应用添加追踪。也可手动按以下三步接入：

1. 启动 MLflow Server

bash
uvx mlflow server

2. 开启日志记录

python
import mlflow

mlflow.set_tracking_uri("http://localhost:5000")
mlflow.openai.autolog()

3. 运行你的代码

python
from openai import OpenAI

client = OpenAI()
client.responses.create(
model="gpt-5.4-mini",
input="Hello!",
)

使用与配置要点

• 通过设置 mlflow.set_tracking_uri("http://localhost:5000") 指向本地 MLflow Server
• 调用 mlflow.openai.autolog() 后无需修改业务代码即可自动记录 OpenAI 调用
• 在浏览器打开 http://localhost:5000 的 MLflow UI 查看 traces 与 metrics 验证接入成功
• 可访问 demo.mlflow.org 体验线上示例

注意事项与常见问题

• 快速启动依赖 uvx 工具，运行 uvx mlflow@latest agent setup 使用最新版本
• README 明确宣称 "No complex setup or major code changes required"，即接入无需复杂配置或大规模代码改动

优缺点

• ✓ 三步快速接入
• ✓ 支持任意 LLM 提供商

出处

本方案挖掘自开源项目 mlflow/mlflow，方案内容与实施命令均来自其 README 原文。