从 MySQL 到 CockroachDB:一次分阶段生产迁移实践

Groww 是印度排名第一的股票券商,拥有 1600 万活跃用户,市值达 110 亿美元。Groww 由四位前 Flipkart 员工——Lalit Keshre、Harsh Jain、Ishan Bansal 和 Neeraj Singh——于 2017 年创立,致力于打造一个简洁、清爽、速度飞快的投资平台。它最初只是一个简单的共同基金投资平台,如今已成长为金融超级应用,每四个印度投资者中就有一个是它的用户。
Groww 的关键用户旅程要承载高并发、延迟敏感的流量。市场交易从不停歇,因此数据库层必须始终保持可用——无论面对流量高峰、系统故障还是快速扩张。
随着 Groww 平台架构的不断演进,数据库层需要的不只是“纵向扩容”,还要在保持强一致性的同时支持运维隔离与弹性伸缩。这些能力对用户体验至关重要:用户靠着它买卖股票、交易期货期权、投资共同基金。
当 CockroachDB 成为支撑这一扩张的基础后,接下来的问题就是如何落地:如何从托管 MySQL 云实例迁移到 CockroachDB,既不打断服务,又备好清晰的回滚方案?
本文将带你一步步走完一次生产数据库迁移的全过程。我们将介绍 CockroachDB 自研的迁移套件 MOLT(Migrate Off Legacy Technology,告别遗留技术),它如何通过分阶段数据迁移、持续复制和内置校验,实现了从 MySQL 到 CockroachDB 的低风险、近乎零停机的切换。
生产环境从 MySQL 迁移到分布式 SQL 的目标
Groww 的迁移目标非常明确,没有商量余地:
应用改动最小化:只需对应用层做少量重构即可接入 CockroachDB。
近零停机:避免采用需要长时间停应用的导出导入式切换方案。
可预期的回滚:切换后的一段定义时间内,保留随时回退到 MySQL 的能力。
运维上心中有数:通过明确的验证检查点来跟踪复制进度、校验数据正确性。
从 MySQL 到分布式 SQL 的分阶段迁移策略
这次迁移采用分阶段推进,而不是一次性切换。由于 Groww 的应用持续运行、无法承受长时间停机,MySQL 和 CockroachDB 在整个迁移过程中始终保持双活并行。
第一步是以最小改动让应用适配 CockroachDB,主要是把 MySQL 特有的 SQL 改写为 PostgreSQL 兼容语法,并对少量 schema 和访问模式做调整,以符合分布式 SQL 的行为特性。
随后分阶段完成数据迁移:先做一次全量初始加载,在 CockroachDB 上建立基线数据集;接着在 MySQL 继续承载生产写入的同时,持续同步增量变更。这样目标系统始终与源库保持高度一致,且完全不影响线上流量。
之后把读流量切到 CockroachDB,在真实生产负载下验证查询行为和性能。待两边系统完全同步、数据一致性确认无误后,应用写入正式切换到 CockroachDB。切换后的一段时间内,变更仍会持续回传到 MySQL,确保在早期稳定阶段一旦出现问题,流量可以随时切回。

为兼容分布式 SQL 所做的最小应用改动
第一步是让应用兼容 CockroachDB 的 PostgreSQL 兼容 SQL 层。这一步只需要少量有针对性的改动,既遵循了分布式数据库的最佳实践,又让现有应用逻辑基本保持不变。主要涉及以下几个方面:
主键设计:替换了顺序主键,避免分布式环境下的写入集中和争用问题。
索引模式:审查并调整了基于单调递增值的索引,防止持续写入负载下出现热点。
SQL 兼容性:将 MySQL 特有的 SQL 语法和行为改写为 PostgreSQL 风格的等价实现。
用 MOLT 执行分阶段切换
整体策略确定后,我们使用 CockroachDB 的 MOLT 工具完成迁移。MOLT 提供了结构化的方式来处理一次性数据搬迁、在生产流量持续运行期间保持数据同步,以及在切换的关键节点验证一致性。
加载存量数据
迁移首先使用 MOLT Fetch 将 MySQL 中的数据一次性加载到 CockroachDB。这一步提前搬走了大部分数据,同时 MySQL 继续承接生产流量,并为后续同步建立了起点。
molt fetch \
--source "mysql://<user>:<password>@<mysql-host>:3306/<database>" \
--target "postgresql://<user>:<password>@<crdb-host>:26257/<database>" \
<options>在这一步中,Fetch 会记录快照对应的 MySQL GTID(全局事务标识符)位置。由于一次性加载可能耗时较长,我们临时调大了 MySQL 的 GTID 保留期限,确保启动复制时该 GTID 仍然可用。
在切换期间保持数据同步
一次性加载完成后,我们使用 MOLT Replicator 持续将 MySQL 的变更同步到 CockroachDB。MySQL 仍是写入源,CockroachDB 则通过复制保持数据最新。
复制从 Fetch 阶段捕获的 GTID 开始:
replicator mylogical \
--sourceConn "mysql://<user>:<password>@<mysql-host>:3306/<database>" \
--targetConn "postgresql://<user>:<password>@<crdb-host>:26257/<database>" \
--defaultGTIDSet "<gtid-from-molt-fetch>" \
<options>团队持续监控复制进度,以判断两套系统何时完全对齐。
切换写入前先验证读取
复制链路就绪后,应用的读取流量被率先切到 CockroachDB。这样可以在真实的线上负载下观察查询行为和性能,而写入仍留在 MySQL。在让 CockroachDB 进入写入路径之前,还有机会做最后的调整。
正式切换、验证与回滚窗口
当复制完全追平、读取流量也稳定运行后,团队经过短暂的排空窗口,将写入切换到了 CockroachDB。在这次切换前后,团队使用 MOLT Verify 对比 MySQL 与 CockroachDB 之间的数据,在关键检查点确认一致性。
molt verify \
--source "mysql://<user>:<password>@<mysql-host>:3306/<database>" \
--target "postgresql://<user>:<password>@<crdb-host>:26257/<database>" \
<options>切换完成后,在一段设定的时间内,写入变更仍通过 MOLT Replicator 反向同步回 MySQL。这样即使 Groww 在切换写入后遇到问题,也可以把流量重新切回 MySQL,而不会丢失这段时间内的数据变更。
切换后的生产环境表现
以下指标来自一条真实的生产负载。MySQL 与 CockroachDB 的读取延迟基本相当,写入延迟略有上升——这在分布式 SQL 数据库中是预期内的,因为提交需要先在各副本之间达成共识才能被确认。
响应时间对比
此次迁移的数据集总计约 2 TB,其中三张最大的表占了绝大部分体量,大小分别约为 120 GB、750 GB 和 930 GB,都是系统中最活跃、最关键的数据。
分阶段生产迁移的架构经验
这次数据库迁移证明,将在线运行的 MySQL 工作负载迁移到 CockroachDB,并不需要停机切换,也不需要对应用做大规模改动。
通过提前改造应用,并把数据搬迁与流量切换分开进行,MySQL 和 CockroachDB 在整个迁移过程中的大部分时间都是并行运行的。先做一次性数据加载,再通过持续复制保持两边数据同步;先切换读流量,则在真实生产流量下提前验证了新系统。MOLT 让整个过程可以按计划稳步推进,复制进度和数据一致性都清晰可见,最终的写流量切换也只占用了很短的、可控的时间窗口。(注:点击这里了解 Groww 为什么选择 CockroachDB。)
除了技术上的优势,CockroachDB 高效的迁移路径还为 Groww 带来了可观的业务价值。这种分阶段、近乎零停机的迁移方式,让 Groww 避免了在 7×24 小时市场中因长时间维护窗口而造成的营收损失和声誉风险。在切换写流量之前,他们先在真实流量下验证了 2TB 的生产工作负载,在高风险交易时段保障了客户体验,确保数百万对延迟敏感的交易持续稳定运行。明确的回滚窗口也降低了运维风险,让管理层有信心快速推进,而不必把整个业务押注在单次切换上。
总的来说,CockroachDB 便捷的迁移体验和内置工具链最大限度减少了迁移带来的干扰,保住了用户信任,帮助 Groww 加快实现了投资回报,也打造出一个更有韧性、永不离线的平台,能够随市场增长不断扩展。
立即体验 CockroachDB
几分钟内即可创建你的第一个 CockroachDB Cloud 集群,并获得 400 美元免费额度。 或者在自托管环境中免费试用 CockroachDB Enterprise 30 天。
立即体验 Cloud 版立即体验自托管版Sourav De 是一位拥有近 12 年行业经验的资深软件工程负责人,现任 Groww 软件架构师,负责设计和实现可扩展的后端系统,并推动关键产品领域的架构卓越。他的职业生涯中曾在多个高级工程岗位上构建过健壮的高流量平台,具备深厚的后端开发、分布式系统和云计算技术功底,善于以系统优先的务实方式解决复杂的产品难题、指导团队成长,交付支撑业务快速增长和用户规模扩张的高可用、易维护的解决方案。
Vittal Pai 是一位技术专家和企业解决方案专家,在分布式系统、数据库和云原生架构方面经验深厚。他现任 Cockroach Labs 的 Staff Enterprise Solutions Architect,帮助各企业为关键任务应用设计高可用、可扩展的数据平台。此前他曾在 IBM 担任研发工程师,参与前沿技术开发并拥有两项专利。Vittal 兼具研究驱动的工程能力与面向客户的战略视野,助力组织采用现代化、面向未来的架构。
Paresh Saraf 是一位资深技术负责人,在分布式系统、数据平台和云计算技术领域拥有超过 15 年的经验。他现任 Cockroach Labs 亚太区客户工程高级经理,与企业合作推动云原生分布式 SQL 架构的落地。他的职业生涯中曾在多家全球性科技企业担任过多种技术和领导岗位,兼具数据库、云平台和企业数字化转型的深厚专业积累与战略洞察,帮助企业设计和实现高可用、高性能、面向未来的技术解决方案。