第8章 Flagger 中的 Webhooks 用法详解
## 第8章:Webhooks
金丝雀分析(Canary analysis)可以结合 Webhooks 进行扩展。Flagger 会调用每个 Webhook 的 URL,并根据响应状态码(HTTP 2xx)来判断金丝雀发布是否失败。
主要有以下几种钩子类型:
- confirm-rollout 钩子在扩展金丝雀部署之前执行,可用于人工审批。如果钩子没有返回成功的 HTTP 状态码,发布过程将暂停。
- pre-rollout 钩子在将流量路由到金丝雀版本之前执行。如果 pre-rollout 钩子失败,金丝雀推进将暂停;如果失败次数达到阈值,金丝雀将被回滚。
- rollout 钩子在执行指标检查之前的每次分析迭代中运行。如果 rollout 钩子调用失败,金丝雀推进将暂停,并最终被回滚。
- confirm-traffic-increase 钩子在增加金丝雀权重之前立即执行。在此钩子返回 HTTP 200 之前,金丝雀推进将暂停。
- confirm-promotion 钩子在晋升(promotion)步骤之前执行。在此钩子返回 HTTP 200 之前,金丝雀晋升将暂停。在晋升暂停期间,Flagger 会继续运行指标检查和 rollout 钩子。
- post-rollout 钩子在金丝雀被晋升或回滚后执行。如果 post-rollout 钩子失败,错误将被记录在日志中。
- rollback 钩子在金丝雀部署处于 Progressing 或 Waiting 状态时执行。这使得在分析期间或等待确认时能够触发回滚。如果 rollback 钩子返回成功的 HTTP 状态码,Flagger 将停止分析并标记该金丝雀发布为失败。
- event 钩子在 Flagger 发出 Kubernetes 事件时每次执行。当配置好之后,Flagger 在金丝雀部署期间执行的每个操作都会通过 HTTP POST 请求以 JSON 格式发送。
配置示例(Spec):
analysis:
webhooks:
- name: "start gate"
type: confirm-rollout
url: http://flagger-loadtester.test/gate/approve
retries: 5
- name: "helm test"
type: pre-rollout
url: http://flagger-helmtester.flagger/
timeout: 3m
metadata:
type: "helmv3"
cmd: "test podinfo -n test"
- name: "load test"
type: rollout
url: http://flagger-loadtester.test/
timeout: 15s
metadata:
cmd: "hey -z 1m -q 5 -c 2 http://podinfo-canary.test:9898/"
- name: "traffic increase gate"
type: confirm-traffic-increase
url: http://flagger-loadtester.test/gate/approve
- name: "promotion gate"
type: confirm-promotion
url: http://flagger-loadtester.test/gate/approve
- name: "notify"
type: post-rollout
url: http://telegram.bot:8080/
timeout: 5s
metadata:
some: "message"
- name: "rollback gate"
type: rollback
url: http://flagger-loadtester.test/rollback/check
- name: "send to Slack"
type: event
url: http://event-recevier.notifications/slack
retries: 3
metadata:
environment: "test"
cluster: "flagger-test"
注意:所有 rollout Webhooks 的超时时间总和应小于分析间隔。
Webhook 负载(HTTP POST):
checksum 字段是由金丝雀版本的 TrackedConfigs 和 LastAppliedSpec 计算得出的哈希值,可用于识别特定已部署资源配置下的金丝雀版本。
响应状态码说明:
- 200-202:通过增加流量权重来推进金丝雀发布。
- 超时或非 2xx:暂停推进并增加失败检查计数。
当响应为非 2xx 时,Flagger 会将响应体(如果存在)包含在失败检查日志和 Kubernetes 事件中。
事件负载(HTTP POST):
事件接收器可以根据接收到的阶段(phase)创建警报(可能的值:Initialized, Waiting, Progressing, Promoting, Finalising, Succeeded 或 Failed)。
选项说明:
- retries:通过在
retries字段中指定正整数来重试 Webhook 请求。这有助于在 Webhook 因瞬时网络问题失败时确保可靠性。 - 禁用 TLS:在 Webhook 规范中将
disableTLS设置为true以绕过 TLS 验证。这在目标服务使用自签名证书或需要连接不安全服务进行测试时很有用。
负载测试
对于没有持续接收流量的工作负载,可以配置 Flagger 使用 Webhook,当被调用时,它将针对目标工作负载启动负载测试。如果在金丝雀分析期间目标工作负载未接收到任何流量,Flagger 的指标检查将因“在指标 request-success-rate 中未找到值”而失败。
Flagger 附带了一个基于 rakyll/hey 的负载测试服务,当配置为 Webhook 时,它会在分析期间生成流量。
Flagger 负载测试 Webhook
首先,你需要在一个启用了 sidecar 注入的命名空间中部署负载测试运行器:
或者通过 Helm 部署:
部署完成后,负载测试器 API 将在 http://flagger-loadtester.test/ 可用。
现在,你可以向金丝雀分析规范中添加 Webhooks:
当金丝雀分析开始时,Flagger 会调用这些 Webhooks,负载测试器将在后台运行 hey 命令(如果尚未运行)。这将确保在分析期间,podinfo-canary.test 服务能接收到稳定的 GET 和 POST 请求流。
如果你的工作负载暴露在网格外部,你可以将 hey 指向公共 URL 并使用 HTTP/2。
对于 gRPC 服务,你可以使用 bojand/ghz,这是一个类似于 Hey 但专为 gRPC 设计的工具:
ghz 使用反射(reflection)来确定调用哪个 gRPC 方法。如果你不希望为你的 gRPC 服务启用反射,可以从 grpc-proto 库中实现一个标准化的健康检查。要在无反射的情况下使用此健康检查模式,可以像这样向 ghz 传递参数:
只要容器镜像中存在该二进制文件,负载测试器就可以运行任意命令。例如,如果你想用另一个 CLI 工具替换 hey,可以创建自己的 Docker 镜像:
负载测试委托
负载测试器还可以将测试任务转发给外部工具,目前支持 nGrinder。
要使用此功能,请在金丝雀分析规范中添加一个类型为 'ngrinder' 的负载测试任务:
当金丝雀分析开始时,负载测试器会向 nGrinder 服务器发起 clone_and_start 请求并启动新的性能测试。负载测试器会定期轮询 nGrinder 服务器以获取测试状态,并防止在后续的分析循环中发送重复请求。
k6 负载测试器
你还可以将负载测试委托给第三方 Webhook,例如 k6 Webhook。该 Webhook 使用 k6(一个功能强大的负载测试器)对金丝雀运行负载或冒烟测试。有关所有可用功能,请参阅源代码仓库。
这里有一个示例,将此 Webhook 作为 pre-rollout 步骤集成,以在发送任何流量之前对服务进行负载测试:
集成测试
Flagger 附带了一个测试服务,当配置为 Webhook 时,它可以运行 Helm 测试、Bats 测试或 Concord 测试。
使用 tiller 服务账户在 kube-system 命名空间中部署 Helm 测试运行器:
部署完成后,Helm 测试器 API 将在 http://flagger-helmtester.kube-system/ 可用。
现在,你可以向金丝雀分析规范中添加 pre-rollout Webhooks:
当金丝雀分析开始时,Flagger 会在将流量路由到金丝雀之前调用 pre-rollout Webhooks。如果 Helm 测试失败,Flagger 将重试,直到达到分析阈值,然后回滚金丝雀。
如果你使用的是 Helm v3,你需要创建一个专用的服务账户,并将发布命名空间添加到测试命令中:
如果测试挂起或日志显示权限不足的提示信息,这可能涉及 RBAC,请查看故障排除部分以获取示例配置。
作为 Helm 的替代方案,你可以使用 Bash 自动化测试系统(Bats)来运行测试。
注意:你应该创建一个包含 Bats 测试的 ConfigMap,并将其挂载到测试器容器内部。
你还可以配置测试运行器以启动一个 Concord 进程。org、project、repo 和 entrypoint 代表你的测试进程在 Concord 中的位置。为了向 Concord 进行身份验证,你需要在 flagger-helmtester 容器中将 apiKeyPath 设置为包含有效 Concord API 密钥的文件路径。这可以通过在测试器的 Deployment 中挂载 Kubernetes Secret 来完成。pollInterval 表示 Webhook 调用 Concord 检查进程是否结束的时间间隔(以秒为单位,默认为 5 秒)。pollTimeout 表示 Webhook 在超时之前尝试调用 Concord 的时间(以秒为单位,默认为 30 秒)。
如果需要启动 Pod/Job 来运行测试,可以使用 kubectl 完成。
注意:你需要为负载测试器服务账户设置 RBAC 权限,以便运行 kubectl 和 helm 命令。
手动门禁(Manual Gating)
对于金丝雀部署的人工审批,你可以使用 confirm-rollout 和 confirm-promotion Webhooks。confirm-rollout 钩子在 pre-rollout 钩子之前执行。为了人工审批流量权重增加,你可以使用 confirm-traffic-increase Webhook。Flagger 将暂停金丝雀流量转移和分析,直到确认 Webhook 返回 HTTP 状态 200。
对于金丝雀部署的人工回滚,你可以使用 rollback Webhook。rollback 钩子将在分析和确认状态下被调用。如果 rollback Webhook 返回成功的 HTTP 状态码,Flagger 会将所有流量切回主实例并标记金丝雀为失败。
使用 Flagger 测试器进行手动门禁操作:
/gate/halt 返回 HTTP 403,从而阻止发布。
如果你启用了通知功能,当金丝雀发布等待审批时,Flagger 会向 Slack 或 MS Teams 发送消息。
可以通过以下方式禁用通知:
将 URL 更改为 /gate/approve 以开始金丝雀分析:
手动门禁可以通过 Flagger 的测试器 API 驱动。将确认 URL 设置为 /gate/check:
默认情况下门禁是关闭的,你可以使用以下命令开始或恢复金丝雀发布:
你可以随时使用以下命令暂停发布:
如果金丝雀分析被暂停,状态将变为 waiting:
confirm-promotion 钩子类型可用于人工批准金丝雀晋升。在晋升暂停期间,Flagger 将继续运行指标检查和负载测试。
rollback 钩子类型可用于人工回滚金丝雀晋升。与门禁操作类似,回滚可以通过 Flagger 的测试器 API 驱动,只需将 rollback URL 设置为 /rollback/check。
默认情况下回滚是关闭的,你可以使用以下命令回滚金丝雀发布:
你可以使用以下命令关闭回滚:
如果你启用了通知功能,当金丝雀被回滚时,Flagger 会向 Slack 或 MS Teams 发送消息。
故障排除
手动检查 helm test 是否正在运行:为了深入调试 Helm 测试相关的任何问题,你可以在 flagger-loadtester Pod 上执行命令。
如果在金丝雀部署期间 Helm 测试挂起:如果测试执行挂起或显示权限不足,请检查你的 RBAC 设置。
上一篇:Metrics Analysis | 下一篇:Alerting | 最后更新于 1 年前