第8章 管理 OpenTelemetry 采集器与 SDK
今天我们在 Pydantic Logfire 中正式发布 Fleet Management:可以直接从 Logfire 更改 OpenTelemetry Collector 和应用 SDK 采集什么数据、发往哪里,无需再到每台机器上修改配置文件。调整采样率、脱敏新发现的敏感数据,全程不需要重新部署应用。Fleet 目前处于 Beta 阶段,对所有套餐开放。
为什么要做 Fleet 管理?
凌晨两点,checkout-api 着火了。有人上线时开着 debug 日志,每个请求会写四十行日志。某个 span 属性里还带着不该出现的银行卡 token。同样的数据既发往 Logfire,也发给你平台团队运行的另一个后端。想关掉其中任何一项,都得提 PR、跑 CI、再部署一次——CI 给力的话也要四十分钟。而继续开着,每小时要多花几千美元,期间发出去的卡 token 已经躺在两个地方了。
你的 Collector 也有同样的问题,只是往下了一层:配置写在每台主机的 YAML 文件里,改一处就得在所有主机上跑一遍 Ansible 或 Helm upgrade。
在 Logfire 里打开该服务的 SDK 策略,把 Minimum log level 设为 Warn,把 token 的属性加入 Attribute redaction,然后发布。
几秒之内,运行中的进程就不再发送 info 和 debug 日志,token 也在 span 离开进程之前被移除。不需要重启任何东西。事故结束后,把日志级别改回 Application controlled,再发布一次即可。
工作原理
每个 Collector 和应用都从一份策略中获取配置:策略是你在 Logfire 中编辑并发布的、带版本管理的配置集。Fleet Management 就是 Pydantic Logfire 中实现这一切的能力总称:一个内置于 Logfire 的 OpAMP 服务器,Collector 和 SDK 连接到它;外加一个 UI,让你查看这些客户端并编辑、发布策略。客户端通过 OpAMP(OpenTelemetry 用于远程管理遥测软件的标准协议)连接到 Fleet。它们上报自己的健康状态和当前运行的配置,你发布新版本后,已连接的客户端会在几秒内拉取到。开启 rollout 后,它会等你先启动一个试点组。
Fleet 传输的是配置,不是遥测数据。应用继续用已有的 write token 发送数据,Collector 也继续按自己的 pipeline 配置发送。
在 Logfire 管理,发往任何地方
一份 Collector 策略包含 Collector 的完整 pipeline,包括 exporter。如果它同时发送到 Logfire 和另一个后端,两者都在 Fleet 里管理。
应用也一样。在 Python、Node.js、Java 和 .NET 中,SDK 策略管控 SDK 导出数据的每一个 exporter,而不只是指向 Logfire 的那个:console exporter、发往其他厂商的第二个 OTLP exporter、插件添加的 exporter,都在其中。因此脱敏、采样和量控对所有目的地都生效,每个 span 在所有目的地共享同一个采样决定。应用在 SDK 之外自行接线的 exporter 则不受策略管控。
你能管理什么
主机上的 Collector。一条命令即可在 Linux、macOS 或 Windows 上把 OpenTelemetry Collector 安装为服务并加入你的项目。选一个起点(主机监控、文件日志),Fleet 会自动创建策略。
Kubernetes 集群。集群中的一个小 bridge 驱动 OpenTelemetry Operator。你的 Collector 仍然是标准的 OpenTelemetryCollector 资源。
你已在运行的 Collector。通过 Add Collector › Existing Collector 获取连接密钥,以及在 Collector Contrib 中 opamp extension 的配置片段。由 Helm 或 GitOps 管理的 Collector 随后会出现在 Fleet 中,展示健康状态、组件和配置,标记为 Report only。它的配置仍归你所有。
应用。支持 Python、Node.js、Java、.NET 和 Go,可用 Logfire SDK 或原生 OpenTelemetry SDK。用 Logfire SDK 只需一个选项:Python 中是 logfire.configure(fleet=True)(Logfire 5.5.0,Python 3.11+),Node.js 中是 logfire.configure({ fleet: true })(0.22.0)。策略可以设置 trace 采样、采样规则、最低日志级别、要导出哪些信号、量控、属性脱敏和清洗。策略没覆盖的部分保持应用原有配置不变。
一个页面呈现全部信息:每个 Collector 和应用、是否已连接、健康状态、运行的策略以及策略是否已生效。Flows 画出 Collector 从哪里接收数据、发往哪里,Overview 则对比各客户端与上个周期相比的发送量。
改动一千台机器,应该是一件无聊的事
一个能改动你所有进程的工具,最好把安全性做好。
每份策略都有版本。发布前,Review 会展示与已发布版本的差异,并在新版用到的组件在某个 Collector 上缺失时发出警告。
无法运行某版本的主机 Collector 或应用会拒绝该版本,保留现有配置。Fleet 会将其标记为 Failed,并指明是哪项配置或哪个组件出了问题。Kubernetes Collector 不会预先检查,所以请先在试点组上测试变更。
先小范围发布。开启 rollout(目前处于 early access)后,新版本只会发给你选定的试点组。它不会自动扩大范围:确认结果没问题后再手动扩大。
随时回滚。打开任意历史版本,一键恢复到编辑器中。
基于 OpenTelemetry 构建
Fleet 使用 OpAMP 协议,通过标准 Operator 管理标准 Collector,并通过嵌入你现有 OpenTelemetry SDK 的小型包连接到 SDK。我们的 OpAMP 客户端共享同一个协议核心——用 Rust 编写、在所有语言中运行,并使用与上游 OpenTelemetry 客户端相同的一致性测试套件。我们在对照规范测试 OpAMP 客户端时的发现,涵盖了这套核心的构建与验证过程。
开始使用
在项目侧边栏打开 Fleet management。所有套餐均已开放。
阅读文档:Fleet overview、Manage Collectors、Manage applications 和 Change policies。
看它运行:Turn down OpenTelemetry noise without a redeploy 会连接一个应用和一台主机,然后同时对两者做出变更。
了解它如何验证:What we found testing OpAMP clients against the spec 列出了我们的测试在上游 OpAMP 客户端中发现的 bug。
查看产品页面:Fleet management。
你的套餐决定了 Fleet 可管理的应用和 Collector 策略数量,Fleet 会随时展示你的用量。
本周就在一个服务上试试吧。如果有缺什么的地方,欢迎在 GitHub 上告诉我们,或通过 contact 联系。