第14章 使用 Linkerd 实现金丝雀发布
Linkerd 金丝雀发布
本指南演示如何使用 Linkerd 和 Flagger 自动化金丝雀部署。
前提条件 Flagger 需要 Kubernetes 集群版本 v1.21 或更高,以及 Linkerd 版本 2.14 或更高。
安装 Linkerd 和 Prometheus(Linkerd Viz 的一部分): ```bash # 需要先安装 CRDs linkerd install --crds | kubectl apply -f -
linkerd install | kubectl apply -f - linkerd viz install | kubectl apply -f -
# 对于 Linkerd 2.12 及更高版本,需要安装 SMI 扩展以启用 TrafficSplits curl -sL https://linkerd.github.io/linkerd-smi/install | sh linkerd smi install | kubectl apply -f - ```
在 flagger-system 命名空间中安装 Flagger: ```bash kubectl apply -k github.com/fluxcd/flagger//kustomize/linkerd ```
如果偏好使用 Helm,以下是安装 Linkerd、Linkerd Viz、Linkerd-SMI 和 Flagger 的命令: ```bash helm repo add linkerd https://helm.linkerd.io/stable helm install linkerd-crds linkerd/linkerd-crds -n linkerd --create-namespace # 参考 https://linkerd.io/2/tasks/generate-certificates/ 了解如何生成下方提到的证书 helm install linkerd-control-plane linkerd/linkerd-control-plane \ -n linkerd \ --set-file identityTrustAnchorsPEM=ca.crt \ --set-file identity.issuer.tls.crtPEM=issuer.crt \ --set-file identity.issuer.tls.keyPEM=issuer.key \
helm install linkerd-viz linkerd/linkerd-viz -n linkerd-viz --create-namespace
helm install flagger flagger/flagger \ -n flagger-system \ --set meshProvider=gatewayapi:v1beta1 \ --set metricsServer=http://prometheus.linkerd-viz:9090 \ --set linkerdAuthPolicy.create=true ```
引导初始化 Flagger 接受一个 Kubernetes 部署,并可选地接受一个水平 Pod 自动扩缩容器(HPA),随后创建一系列对象(包括 Kubernetes 部署、ClusterIP 服务以及 SMI 流量分割)。这些对象将应用暴露在网格中,并驱动金丝雀分析和晋升过程。
创建一个测试命名空间,并启用 Linkerd 代理注入:
安装负载测试服务,以便在金丝雀分析期间产生流量:
创建一个部署和一个水平 Pod 自动扩缩容器:
为 podinfo 部署创建指标模板和金丝雀自定义资源:
将上述资源保存为 podinfo-canary.yaml 并应用:
当金丝雀分析开始时,Flagger 会在将流量路由到金丝雀版本之前调用 pre-rollout webhooks。金丝雀分析将持续五分钟,期间每三十秒验证一次 HTTP 指标和 rollout 钩子。
几秒钟后,Flagger 将创建金丝雀对象:
引导完成后,podinfo 部署将被缩容至零,podinfo.test 的流量将被路由到主要(primary)Pod。在金丝雀分析期间,可以使用 podinfo-canary.test 地址直接指向金丝雀 Pod。
自动化金丝雀晋升 Flagger 实现了一个控制循环,在测量关键性能指标(如 HTTP 请求成功率、平均请求持续时间以及 Pod 健康状态)的同时,逐渐将流量转移至金丝雀版本。根据 KPI 分析结果,决定是晋升还是中止金丝雀版本,并将分析结果发布到 Slack。
Flagger 金丝雀阶段
通过更新容器镜像来触发金丝雀部署:
Flagger 检测到部署修订版发生变化,并开始新的 rollout:
注意,如果在金丝雀分析期间对部署应用了新更改,Flagger 将重新开始分析。
当以下任何对象发生变化时,都会触发金丝雀部署: * Deployment PodSpec(容器镜像、命令、端口、环境变量、资源等) * 挂载为卷或映射到环境变量的 ConfigMaps * 挂载为卷或映射到环境变量的 Secrets
您可以使用以下命令监视所有金丝雀实例:
自动化回滚 在金丝雀分析期间,您可以生成 HTTP 500 错误和高延迟,以测试 Flagger 是否会对故障版本进行暂停和回滚。
触发另一个金丝雀部署:
进入负载测试 Pod:
生成 HTTP 500 错误:
生成延迟:
当失败检查次数达到金丝雀分析阈值时,流量将回退到主要版本,金丝雀版本将被缩容至零,并且 rollout 标记为失败。
自定义指标 可以通过 Prometheus 查询扩展金丝雀分析。
让我们定义一个针对未找到错误的检查。编辑金丝雀分析并添加以下指标:
上述配置通过检查 HTTP 404 请求/秒占总流量的百分比是否低于 3% 来验证金丝雀版本。如果 404 比率达到 3% 的阈值,分析将被中止,且金丝雀版本标记为失败。
通过更新容器镜像触发金丝雀部署:
生成 404 错误:
观察 Flagger 日志:
如果已配置 Slack,Flagger 将发送通知,说明金丝雀版本失败的原因。
Linkerd Ingress 有两种 Ingress 控制器同时兼容 Flagger 和 Linkerd:NGINX 和 Gloo。
安装 NGINX:
为 podinfo 创建 ingress 定义,重写传入头部以匹配内部服务名称(Linkerd 要求):
使用 Ingress 控制器时,Linkerd 流量分割不适用于传入流量,因为 NGINX 运行在网格外部。为了对前端应用进行金丝雀分析,Flagger 会创建一个影子 Ingress,并设置 NGINX 特定的注解。
A/B 测试 除了加权路由外,Flagger 还可以配置为基于 HTTP 匹配条件将流量路由到金丝雀版本。在 A/B 测试场景中,将使用 HTTP 头部或 cookie 来定位特定用户群体。这对于需要会话粘性的前端应用特别有用。
Flagger Linkerd Ingress 编辑 podinfo 金丝雀分析,将 provider 设置为 nginx,添加 ingress 引用,移除 max/step 权重,并添加匹配条件和迭代次数:
上述配置将运行十分钟的分析,目标是那些设置了值为 always 的 canary cookie 的用户,或者使用 X-Canary: always 头调用服务的用户。
注意,负载测试现在针对外部地址并使用 canary cookie。
通过更新容器镜像触发金丝雀部署:
Flagger 检测到部署修订版变化,并启动 A/B 测试:
上述流程可以通过自定义指标检查、webhooks、手动晋升审批以及 Slack 或 MS Teams 通知进行扩展。
上一篇 Istio A/B 测试 下一篇 Kuma 金丝雀发布 最后更新于 3 年前