进阶 questdb.com 2026-10-13 06:17:07 · 33 阅读

第8章 QuestDB 架构深度解析:三层存储与核心组件设计

Architecture Overview 架构概览

QuestDB 提供面向时间序列数据的高速写入和低延迟分析。它采用三层存储架构(流式 WAL 文件、本地二进制存储,以及 Parquet 格式的本地或远程存储),以提升互操作性、避免厂商锁定。

WHERE symbol in ('AAPL', 'NVDA') LATEST ON timestamp PARTITION BY symbol CREATE MATERIALIZED VIEW 'trades_OHLC' min(price) AS low timestamp IN today() SELECT spread_bps(bids[1][1], asks[1][1]) FROM read_parquet('trades.parquet') SAMPLE BY 15m

第一层:热写入(WAL),默认持久化

传入数据以超低延迟追加到预写日志(WAL)。写入会先落盘再做任何处理,保证顺序、即使发生故障也不会丢数据。WAL 会异步上传到对象存储,新副本可以快速启动并读取相同的历史数据。

第二层:对实时数据的实时 SQL

数据按时间排序、去重后写入 QuestDB 原生的时间分区列式存储格式,立即可查询。通过向量化多核执行、流式物化视图和时间序列 SQL(如 ASOF JOIN、SAMPLE BY)实现实时分析。查询计划器可以无缝跨层查询。

第三层:冷存储,开放且可查询

较旧的数据会自动分层到对象存储中的 Apache Parquet 格式。可以直接在 QuestDB 中查询,也可以用任何支持 Parquet 的工具读取。这带来可预测的成本、与 AI/ML 工具链的互操作性,以及零锁定。

本文介绍 QuestDB 的内部架构。

Key components​ 关键组件

QuestDB 由以下几个关键组件构成:

存储引擎:采用列式存储设计,确保高 I/O 性能和低延迟。

内存管理与原生集成:系统同时使用内存映射和显式内存管理技术,并对性能关键任务集成原生代码。

查询引擎:自研的 SQL 解析器、JIT 编译器和向量化执行引擎直接在表页帧上处理数据,提升 CPU 利用率。

时间序列优化:QuestDB 专为时间序列设计,提供了 designated timestamp、顺序读取、物化视图、内存处理等多项优化。

复制:QuestDB Enterprise 通过只读副本和多主配置支持高可用,详见 High Availability。

可观测性:QuestDB 提供实时指标、健康检查和结构化日志,方便监控性能、简化诊断。

Web 控制台:内置 Web 控制台,可执行 SQL、批量导入 CSV 文件、展示监控仪表盘。QuestDB Enterprise 还支持 Web 控制台的单点登录(SSO)。

Design patterns & best practices throughout the codebase​ 代码库中的设计模式与最佳实践

不可变数据结构:系统倾向使用不可变对象,以避免并发问题、简化状态管理。

模块化架构:每个组件(如存储、查询处理、数据写入等)都有清晰定义的接口,提高可维护性并解耦功能。

工厂与建造者模式:用于集中管理复杂对象(如 SQL 执行计划、存储缓冲区)的构建逻辑。

延迟初始化:资源开销大的组件仅在需要时才初始化,降低启动开销。

严格的测试与基准:单元测试、集成测试和性能基准确保新功能不损害可靠性和性能。

Next up​ 下一步

继续阅读 Storage Engine,了解 QuestDB 如何在磁盘上存储和管理数据。

评论 (0)