第11章 高可用
高可用概述
企业版专属功能——主副本复制是 QuestDB 企业版特性。客户端故障转移和存储转发对所有原生客户端均可用。了解更多
QuestDB 在两个层面实现高可用,弹性部署通常两者兼备:
- 服务端复制:在一个或多个副本节点上保留数据的热备副本,确保集群在单个节点失效后仍可存活。这是 QuestDB 企业版功能,也是本页的核心内容。
- 客户端弹性:确保应用在被复制机制支持的故障转移过程中保持连接。客户端故障转移允许客户端在连接断开时遍历主机列表;存储转发则在本地缓冲未确认的数据,确保生产者在间隙期间不丢失写入。
复制负责数据移动,客户端特性确保应用能跟随数据。本页其余部分主要介绍复制,客户端相关内容请参阅 客户端故障转移 和 存储转发 章节。
为什么使用复制?
- 高可用:主节点故障时,副本可接管
- 读扩展:将查询负载分散到多个副本
- 灾难恢复:使用存储的 WAL 文件恢复至任意时间点
- 地理分布:将副本部署在离不同区域用户更近的位置
- 零性能影响:副本不影响主节点性能
工作原理
主实例将数据写入 预写日志(WAL),并将这些文件上传到对象存储(AWS S3、Azure Blob Storage、GCS 或 NFS)。副本实例下载并应用这些文件以保持同步。
这种解耦架构意味着:
- 增删副本时无需触及主节点
- 副本可位于不同区域或可用区
- 对象存储提供持久性和时间点恢复能力
- 主节点角色在运行时节点间转移,参见 故障转移和角色切换
可用性策略
- 热可用:与主节点并行持续运行副本以实现即时故障转移。恢复速度快,成本较高。副本通过 SWITCH ROLE 就地晋升,无需重启任何节点。
- 冷可用:在需要时根据最新快照和 WAL 文件重建新的主节点。恢复速度较慢,成本较低。
支持的对象存储
| AWS S3 | 支持 |
| Azure Blob Storage | 支持 |
| Google Cloud Storage | 支持 |
| NFS 文件系统 | 支持 |
| HDFS | 计划中 |
有其他需求?联系我们。
要求
复制适用于启用了 WAL 的表,即具有指定时间戳且已分区的表。这覆盖了大多数时序数据用例。
没有时间戳的表(通常用于引用或查找数据)不会自动复制,需在每个实例上单独填充。
复制集群中的存储策略
存储策略定义存储在基于 WAL 的系统表中,因此策略本身——包括 TO PARQUET、DROP LOCAL TTL 及启用/禁用状态——与用户数据通过相同的 WAL 管道复制到每个实例。
不过,策略执行在各实例上独立进行。Parquet 文件在本地生成,不被复制;每个节点的存储策略任务针对本地数据调度自己的 PARQUET_CONVERSION、PARQUET_COMMIT 和 DROP_LOCAL 工作。结果如下:
- 在任一时刻,同一分区在主节点和副本上可能处于不同状态(例如,主节点已转换,但尚未到达检查间隔的副本仍为原生格式)。
- 这些差异是暂时的。一旦各实例的检查任务运行并处理该分区,集群将收敛至相同的逻辑状态。
- 调整每个实例的检查间隔(
storage.policy.check.interval)或工作线程数(storage.policy.worker.count),可在该节点上权衡转换延迟与后台负载。
复制集群中的冷存储
远程阶段的行为与本地阶段不同。冷存储指定单个管理实例负责上传分区、写入清单及运行远程垃圾回收。其他所有实例均为刷新器,只读镜像该状态。
- 管理角色独立于主节点和副本角色。四种组合均有效,在副本上运行管理角色可将上传和垃圾回收工作从主节点转移出去。
- 将副本晋升为主节点不会移动管理角色,移动管理角色也不影响复制。两者分别通过
SWITCH COLD STORAGE ROLE进行管理。 - 分区字节从不经过复制流。使分区只读的封装操作作为 WAL 事件复制,各实例随后自行读取共享对象并安装本地元数据。因此每个副本都需要对对象存储有读取权限。
- 在启用远程阶段前先升级副本。旧版本实例和开源节点无法理解分区封装事件,会暂停而非跳过 WAL 应用。
管理角色交接程序及其前置条件参见 冷存储运维。
自带云(BYOC)
QuestDB 企业版可由用户自管理,或由 QuestDB 团队基于 BYOC 模式运维。
在 BYOC 模式下,QuestDB 负责用户基础设施上所有主节点和副本实例的运维。托管基础设施使用标准云提供商工具(AWS 使用 CloudFormation,Azure 使用 Lighthouse),完全由用户拥有和审计。
后续步骤