进阶 questdb.com 2026-10-13 06:17:07 · 29 阅读

第11章 高可用

高可用概述

企业版专属功能——主副本复制是 QuestDB 企业版特性。客户端故障转移和存储转发对所有原生客户端均可用。了解更多

QuestDB 在两个层面实现高可用,弹性部署通常两者兼备:

  • 服务端复制:在一个或多个副本节点上保留数据的热备副本,确保集群在单个节点失效后仍可存活。这是 QuestDB 企业版功能,也是本页的核心内容。
  • 客户端弹性:确保应用在被复制机制支持的故障转移过程中保持连接。客户端故障转移允许客户端在连接断开时遍历主机列表;存储转发则在本地缓冲未确认的数据,确保生产者在间隙期间不丢失写入。

复制负责数据移动,客户端特性确保应用能跟随数据。本页其余部分主要介绍复制,客户端相关内容请参阅 客户端故障转移 和 存储转发 章节。

为什么使用复制?

  • 高可用:主节点故障时,副本可接管
  • 读扩展:将查询负载分散到多个副本
  • 灾难恢复:使用存储的 WAL 文件恢复至任意时间点
  • 地理分布:将副本部署在离不同区域用户更近的位置
  • 零性能影响:副本不影响主节点性能

工作原理

主实例将数据写入 预写日志(WAL),并将这些文件上传到对象存储(AWS S3、Azure Blob Storage、GCS 或 NFS)。副本实例下载并应用这些文件以保持同步。

这种解耦架构意味着:

  • 增删副本时无需触及主节点
  • 副本可位于不同区域或可用区
  • 对象存储提供持久性和时间点恢复能力
  • 主节点角色在运行时节点间转移,参见 故障转移和角色切换

可用性策略

  • 热可用:与主节点并行持续运行副本以实现即时故障转移。恢复速度快,成本较高。副本通过 SWITCH ROLE 就地晋升,无需重启任何节点。
  • 冷可用:在需要时根据最新快照和 WAL 文件重建新的主节点。恢复速度较慢,成本较低。

支持的对象存储

AWS S3支持
Azure Blob Storage支持
Google Cloud Storage支持
NFS 文件系统支持
HDFS计划中

有其他需求?联系我们。

要求

复制适用于启用了 WAL 的表,即具有指定时间戳且已分区的表。这覆盖了大多数时序数据用例。

没有时间戳的表(通常用于引用或查找数据)不会自动复制,需在每个实例上单独填充。

复制集群中的存储策略

存储策略定义存储在基于 WAL 的系统表中,因此策略本身——包括 TO PARQUET、DROP LOCAL TTL 及启用/禁用状态——与用户数据通过相同的 WAL 管道复制到每个实例。

不过,策略执行在各实例上独立进行。Parquet 文件在本地生成,不被复制;每个节点的存储策略任务针对本地数据调度自己的 PARQUET_CONVERSION、PARQUET_COMMIT 和 DROP_LOCAL 工作。结果如下:

  • 在任一时刻,同一分区在主节点和副本上可能处于不同状态(例如,主节点已转换,但尚未到达检查间隔的副本仍为原生格式)。
  • 这些差异是暂时的。一旦各实例的检查任务运行并处理该分区,集群将收敛至相同的逻辑状态。
  • 调整每个实例的检查间隔(storage.policy.check.interval)或工作线程数(storage.policy.worker.count),可在该节点上权衡转换延迟与后台负载。

复制集群中的冷存储

远程阶段的行为与本地阶段不同。冷存储指定单个管理实例负责上传分区、写入清单及运行远程垃圾回收。其他所有实例均为刷新器,只读镜像该状态。

  • 管理角色独立于主节点和副本角色。四种组合均有效,在副本上运行管理角色可将上传和垃圾回收工作从主节点转移出去。
  • 将副本晋升为主节点不会移动管理角色,移动管理角色也不影响复制。两者分别通过 SWITCH COLD STORAGE ROLE 进行管理。
  • 分区字节从不经过复制流。使分区只读的封装操作作为 WAL 事件复制,各实例随后自行读取共享对象并安装本地元数据。因此每个副本都需要对对象存储有读取权限。
  • 在启用远程阶段前先升级副本。旧版本实例和开源节点无法理解分区封装事件,会暂停而非跳过 WAL 应用。

管理角色交接程序及其前置条件参见 冷存储运维。

自带云(BYOC)

QuestDB 企业版可由用户自管理,或由 QuestDB 团队基于 BYOC 模式运维。

在 BYOC 模式下,QuestDB 负责用户基础设施上所有主节点和副本实例的运维。托管基础设施使用标准云提供商工具(AWS 使用 CloudFormation,Azure 使用 Lighthouse),完全由用户拥有和审计。

后续步骤

评论 (0)