第6章 部署策略
部署策略
Flagger 支持以下部署策略的自动化应用分析、晋升及回滚操作:
- 金丝雀发布(逐步流量转移):支持 Istio、Linkerd、App Mesh、NGINX、Skipper、Contour、Gloo Edge、Traefik、Kuma、Gateway API、Apache APISIX、Knative
- A/B 测试(基于 HTTP 头部和 Cookie 的流量路由):支持 Istio、App Mesh、NGINX、Contour、Gloo Edge、Gateway API
- 蓝绿部署(流量切换):支持 Kubernetes CNI、Istio、Linkerd、App Mesh、NGINX、Contour、Gloo Edge、Gateway API
- 蓝绿镜像(流量影子测试):支持 Istio、Gateway API
- 带会话亲和性的金丝雀发布(结合 Cookie 路由的逐步流量转移):支持 Istio、Gateway API
执行金丝雀发布和 A/B 测试时,需要 Layer 7 流量管理方案,例如服务网格(Service Mesh)或入口控制器(Ingress Controller)。蓝绿部署则无需依赖服务网格或入口控制器。
当以下任一对象发生变更时,触发了金丝雀分析:
- Deployment PodSpec(容器镜像、命令、端口、环境变量、资源等)
- 挂载为卷或映射为环境变量的 ConfigMap
- 挂载为卷或映射为环境变量的 Secret
金丝雀发布
Flagger 实现了一个控制循环,在测量关键绩效指标(如 HTTP 请求成功率、平均请求耗时和 Pod 健康状况)的同时,将流量逐步转移至金丝雀版本。根据对 KPI 的分析结果,决定是否晋升或终止该金丝雀版本。
Flagger 金丝雀阶段
金丝雀分析会定期运行,直到达到最大流量权重或失败检查阈值。假设上述分析成功,它将持续运行 25 分钟,并每分钟验证 HTTP 指标和 Webhooks。你可以使用以下公式确定验证并晋升金丝雀部署所需的最短时间:
当指标或 Webhook 检查失败时,金丝雀回滚所需的时间为:
当指定了 stepWeightPromotion 时,晋升阶段将分阶段进行。流量会以渐进方式路由回主版本 Pod,主版本权重逐渐增加,直至达到 100%。
在紧急情况下,你可能希望跳过分析阶段,直接将变更发布到生产环境。随时可以将 spec.skipAnalysis 设置为 true。启用跳过分析后,Flagger 仅检查金丝雀部署是否健康,若健康则直接晋升,而不执行深度分析。如果分析正在进行中,Flagger 会取消当前分析并执行晋升。
具有门控的金丝雀晋升阶段:
- 扫描金丝雀部署
- 检查主版本和金丝雀部署的状态
- 如果有滚动更新正在进行,停止推进
- 如果 Pod 不健康,停止推进
- 调用 confirm-rollout Webhook 并检查结果
- 如果任何 Hook 返回非 HTTP 2xx 结果,停止推进
- 调用 pre-rollout Webhook 并检查结果
- 如果任何 Hook 返回非 HTTP 2xx 结果,停止推进
- 增加失败检查计数器
- 将金丝雀流量权重从 0% 增加到 2%(步长权重)
- 调用 rollout Webhook 并检查结果
- 检查金丝雀 HTTP 请求成功率和延迟
- 如果任何指标低于指定阈值,停止推进
- 增加失败检查计数器
- 检查失败检查数量是否达到阈值
- 将所有流量路由至主版本
- 将金丝雀部署缩放至零,并标记为失败
- 调用 post-rollout Webhooks
- 将分析结果发布到 Slack
- 等待金丝雀部署更新,重新开始
- 将金丝雀流量权重增加 2%(步长权重),直至达到 50%(最大权重)
- 如果任何 Webhook 调用失败,停止推进
- 如果金丝雀请求成功率低于阈值,停止推进
- 如果金丝雀请求耗时 P99 超过阈值,停止推进
- 如果任何自定义指标检查失败,停止推进
- 如果主版本或金丝雀部署变得不健康,停止推进
- 如果 HPA 正在扩缩容金丝雀部署,停止推进
- 调用 confirm-promotion Webhook 并检查结果
- 如果任何 Hook 返回非 HTTP 2xx 结果,停止推进
- 将金丝雀晋升为主版本
- 将金丝雀的 ConfigMap 和 Secret 复制到主版本
- 用金丝雀的部署规范模板覆盖主版本
- 等待主版本滚动更新完成
- 如果 Pod 不健康,停止推进
- 将所有流量路由至主版本
- 将金丝雀部署缩放至零
- 标记 Rollout 结束
- 调用 post-rollout Webhooks
- 发送包含金丝雀分析结果的通知
- 等待金丝雀部署更新,重新开始
Rollout 权重
默认情况下,Flagger 使用线性权重值进行晋升,起始值、步长和最大权重值的范围在 0 到 100 之间。
示例:此配置从 20 开始执行分析,每次增加 20,直到权重超过 50。
我们会有以下步骤(金丝雀权重 : 主版本权重):
20 (20 : 80)
40 (40 : 60)
60 (60 : 40)
晋升
为了启用非线性晋升,引入了一个新参数:stepWeights - 确定在金丝雀晋升期间使用的有序权重数组。
示例:此配置从 1 开始执行分析,遍历 stepWeights 值,直至 80。
我们会有以下步骤(金丝雀权重 : 主版本权重):
1 (1 : 99)
2 (2 : 98)
10 (10 : 90)
80 (80 : 20)
晋升
A/B 测试
对于需要会话亲和性的前端应用,应使用 HTTP 头部或 Cookie 匹配条件,以确保一组用户在金丝雀分析整个期间内停留在同一版本。
Flagger A/B 测试阶段
通过指定 HTTP 匹配条件和迭代次数,你可以启用 A/B 测试。如果 Flagger 找到 HTTP 匹配条件,它将忽略 maxWeight 和 stepWeight 设置。
Istio 示例:上述配置将运行 10 分钟的分析,针对 Safari 用户以及拥有测试 Cookie 的用户。你可以使用以下公式确定验证并晋升金丝雀部署所需的最短时间:
当指标或 Webhook 检查失败时,金丝雀回滚所需的时间为:
Istio 示例:头部键必须小写,并使用连字符作为分隔符。头部值区分大小写,格式如下:
exact: "value" 用于精确字符串匹配
prefix: "value" 用于前缀匹配
suffix: "value" 用于后缀匹配
regex: "value" 用于 RE2 风格正则表达式匹配
请注意,sourceLabels 匹配条件仅当 mesh gateway 包含在 canary.service.gateways 列表中时才适用。
App Mesh 示例:请注意,App Mesh 仅支持单一条件。
Contour 示例:请注意,Contour 不支持正则表达式,可以使用 prefix、suffix 或 exact。
NGINX 示例:请注意,NGINX 入口控制器仅支持对 Cookie 名称进行精确匹配,且值必须设置为 always。从 NGINX ingress v0.31 开始,支持对头部值进行正则表达式匹配。
上述配置将在分析期间将拥有 x-canary 头部或 canary Cookie 的用户路由到金丝雀实例。
蓝绿部署
对于未部署在服务网格上的应用程序,Flagger 可以编排基于 Kubernetes L4 网络的蓝绿式部署。当使用 Istio 时,你选择在主版本和金丝雀版本之间镜像流量。
Flagger 蓝绿阶段
通过用 analysis spec 中的 iterations 替换 stepWeight/maxWeight,你可以使用蓝绿部署策略:
根据上述配置,Flagger 将在 10 分钟内对金丝雀 Pod 运行一致性测试和负载测试。如果指标分析成功,当金丝雀晋升时,实时流量将从旧版本切换到新版本。
所有服务网格提供商都支持蓝绿部署策略。
服务网格的蓝绿 Rollout 步骤:
- 检测新修订版本(部署规范、Secret 或 ConfigMap 变更)
- 扩展金丝雀(绿)
- 对金丝雀 Pod 运行一致性测试
- 每分钟对金丝雀 Pod 运行负载测试和指标检查
- 如果达到失败阈值,终止金丝雀发布
- 将流量路由至金丝雀(使用 Kubernetes provider 时不会发生)
- 将金丝雀规范晋升为主版本(蓝)
- 等待主版本滚动更新
- 将流量路由至主版本
- 缩容金丝雀
分析完成后,流量先路由至金丝雀(绿),然后触发主版本(蓝)滚动更新。这确保了向新版本的平稳过渡,避免了在 Kubernetes 部署滚动更新期间丢弃正在进行的请求。
带流量镜像的蓝绿部署
流量镜像是金丝雀(逐步流量转移)或蓝绿部署策略中的一个前置阶段。流量镜像会复制每个传入请求,分别向主版本和金丝雀服务发送一个请求。主版本的响应发送回给用户,而金丝雀的响应被丢弃。由于两个请求都会收集指标,只有当金丝雀指标健康时,部署才会继续进行。
流量镜像应仅用于幂等请求或能够被处理两次的请求(一次由主版本处理,一次由金丝雀处理)。读操作是幂等的。在对可能涉及写操作的请求使用镜像之前,应考虑写入重复且由主版本和金丝雀同时处理时会发生什么。
若要使用镜像,请将 spec.analysis.mirror 设置为 true。
服务网格的镜像 Rollout 步骤:
- 检测新修订版本(部署规范、Secret 或 ConfigMap 变更)
- 从零扩展金丝雀部署
- 等待 HPA 设置金丝雀最小副本数
- 检查金丝雀 Pod 健康状态
- 运行验收测试
- 如果测试失败,终止金丝雀发布
- 启动负载测试
- 将 100% 的流量从主版本镜像至金丝雀
- 每分钟检查请求成功率和请求耗时
- 如果达到失败阈值,终止金丝雀发布
- 达到迭代次数后停止流量镜像
- 将实时流量路由至金丝雀 Pod
- 晋升金丝雀(更新主版本的 Secret、ConfigMap 和部署规范)
- 等待主版本部署滚动更新完成
- 等待 HPA 设置主版本最小副本数
- 检查主版本 Pod 健康状态
- 将实时流量切换回主版本
- 将金丝雀缩放至零
- 发送包含金丝雀分析结果的通知
分析完成后,流量先路由至金丝雀(绿),然后触发主版本(蓝)滚动更新。这确保了向新版本的平稳过渡,避免了在 Kubernetes 部署滚动更新期间丢弃正在进行的请求。
带会话亲和性的金丝雀发布
此部署策略将金丝雀发布与 A/B 测试混合。当我们试图逐步向用户展示新功能时,金丝雀发布很有用,但由于其路由特性(基于权重),用户即使之前已被路由到新版本,仍可能落在旧版本上。这可能令人烦恼,甚至更糟,会破坏其他服务与我们应用的交互。为解决此问题,我们借鉴了 A/B 测试的一些机制。
由于 A/B 测试对需要会话亲和性的应用特别有用,我们将基于 Cookie 的路由与常规的基于权重的路由相结合。这意味着,一旦用户接触到应用的新版本(基于流量权重),他们始终被路由到该版本,即永远不会被路由回旧版本。
你可以通过在 Canary 中指定 .spec.analysis.sessionAffinity 来启用此功能:
.spec.analysis.sessionAffinity.cookieName 是存储的 Cookie 名称。Cookie 的值是一个随机生成的字符串,作为唯一标识符。对于上述配置,在金丝雀运行期间路由到金丝雀部署的请求响应头看起来像这样:
当金丝雀运行结束且所有流量切回主版本部署时,所有响应将包含以下头部:
这告诉客户端删除 Cookie,确保用户系统中没有残留的无用 Cookie。
如果触发新的金丝雀运行,响应头将为所有路由到金丝雀部署的请求设置新的 Cookie:
为主版本部署配置粘滞性
上述策略很有用,因为它确保了任何被路由到金丝雀部署的用户始终被路由到该部署。但这会导致流量转移失衡,因为随着时间推移,大部分流量会流向金丝雀部署。为确保公平的流量分布,我们也可以为主版本部署配置粘滞性。你可以通过指定 primaryCookieName 字段来配置此功能:
注意:目前仅支持 Gateway API 和 Istio provider。
让我们理解上述配置的作用。上一节中提到的所有会话亲和性机制仍然生效,但现在路由到主版本部署的请求响应头也包含 Set-Cookie 头部:
注意,Cookie 的有效期与金丝雀分析的间隔相同。这意味着当分析的新步骤开始并生成新 Cookie 时,该 Cookie 会过期,例如:
这确保了,如果在特定步骤中,用户的第一个请求被路由到主版本部署,则后续所有请求都将路由到同一部署,直到下一个步骤开始。在新步骤中,会生成一个新的 Cookie 值,并包含在主版本工作负载响应头的中。这允许基于权重的流量路由发生,同时确保用户在金丝雀分析期间不会从金丝雀部署切换回主版本部署。
配置额外的 Cookie 属性
根据你的用例,你可能需要设置额外的 Cookie 属性,以便应用正确路由请求。你可以设置以下属性:
Previous | 工作原理 | Next | 指标分析
Last updated 6 months ago