进阶 questdb.com 2026-10-13 06:17:07 · 45 阅读

第1章 QuestDB Enterprise 4.0.1 发布说明

QuestDB Enterprise 4.0.1 是基于 4.0.0 版本的补丁发布。本次更新带来两项用户可见的新功能:通过 OAuth 2.0 设备流实现 OIDC 登录,以及一项可重试、支持截止时间的关机契约,该契约现覆盖 Enterprise 角色切换、WAL 传输和备份拆除。此外,还支持 Azure Blob 对象元数据的冷存储,并修复了闲置重基线表(rebased table)无法稳定落入上传器索引的复制问题。捆绑的 OSS 引擎相比 10.0.1 前进了七个提交(处于 10.0.2-SNAPSHOT 开发线;OSS 10.0.2 正式发布尚不存在),其中两项继承自引擎的破坏性变更,升级前务必仔细审查。

破坏性变更

溢出型 INT 表达式现在在所有上下文中均按模 $2^{32}$ 回绕,包括在 64 位类型转换下以及写入 64 位列时。这意味着 INT 表达式在其声明类型下仅承载一个值。若需进行 64 位计算,需拓宽操作数宽度,例如使用 `to_utc(secs * 1_000_000L, tz)` 或 `i::long * j`。此规则引发的连锁反应包括:`WHERE secs * 1_000_000 > `、`(i*j)::long` 以及向 64 位列插入均读取回绕后的值;将溢出 INT 表达式插入指定 timestamp 列将失败,报错“指定 timestamp 早于 1970-01-01 不被允许”;`SELECT` 溢出常量 INT 算术返回 INT 而非 LONG,因此通过 PostgreSQL 线协议传输时,列描述符从 int8 变为 int4,且 `CREATE TABLE ... AS SELECT` 将创建 INT 列;落在 $-2^{31}$ 的 INT 算术在所有地方均读取为 NULL;窗口框架、WINDOW JOIN 边界、SAMPLE BY 间隔、FROM/TO 边界以及 DROP/DETACH/CONVERT PARTITION 的 WHERE 过滤器使用最终回绕值,而非检查算术来源;`long_sequence(100_000 * 30_000)` 因回绕变为负值,返回无行;`dateadd('u', 3600*1000000, ts)` 基于回绕后的步长计算,而非报错重载解析失败;timestamp 谓词和 UPDATE 过滤器接受 INT 表达式并对回绕值进行符号扩展,其中若 WHERE 子句的固有提取失败的 WAL UPDATE 将在排序时同步失败,而非挂起表。

此外,针对数值常量对的常量重新结合也被禁用,因此类似 `i + 1 + 4` 的链式表达式按其声明宽度从左至右求值,这会改变 EXPLAIN 输出并降低 Java 求值常量算术的吞吐量。伴随此规则,该变更修复了一大类缺陷:HORIZON JOIN 和 WINDOW JOIN 的错误结果(包括在 Parquet 主文件上读取无关列的常量假 WINDOW JOIN、过去时按键窗口计数不足、惰性绑定的属主分组函数、DECIMAL/varchar/LONG256 的拼接 NULL 列处理,以及按键连接映射逃逸 `cairo.query.memory.limit.bytes` 限制);`LATEST ON` 静默丢弃带索引符号的 WHERE 过滤器并将 LIMIT 推送到操作数下方;`NULLIF` 返回刚被排除的值,以及 INT/IPv4 转换对参数求值两次;`json_extract` 在不同宽度和转换下返回不同值,且转换为 SYMBOL 时关闭调用方仍持有的符号表;对整型键的 IN 操作拓宽、泄露或错误排序元素;大量 JIT 编译过滤器崩溃、fail-open 原生后端以及与 Java 过滤器的宽度分歧;编译过滤器和 Parquet 行组修剪共享的包含容忍边界;Parquet 行组修剪对数值、非有限值和列顶行的错误修剪;timestamp 偏移下推对月和年偏移、回绕移位及手写 and_offset 调用导致的行丢失;`'x' || concat('y')` 引发的 NullPointerException;以及若干工厂构造和间隔模型的资源泄露。

性能优化工作摊销了按键 WINDOW JOIN 从节点索引(将高达 2000 次重建降至 17 次),恢复了混合宽度 JIT 过滤器的向量化能力,并使表达式重新结合和 JIT 宽度标记遍历从二次复杂度降至线性复杂度。

新功能

此功能允许部署控制器和内嵌器在释放工作线程、生命周期组件或引擎扩展可能仍在使用对象的情况下,限制单次关机尝试。`ServerMain.closeBy(long deadlineNanos)` 接受基于单调 `System.nanoTime()` 时钟的绝对截止时间,若关机完成且关闭图已释放则返回 `true`;若截止时间到达或被中断停止尝试则返回 `false`,此时所有可能仍在使用的资源保持所有权以便稍后用新截止时间重试;已完成阶段保持幂等性,且 `close()` 保留现有的终止行为。并发调用者不会并行拆除——一个调用者拥有关机过程,其他调用者等待至各自截止时间并恢复已消耗的中断状态——且意外组件故障仍会传播,因为使用明确的“未完成关机”信号,而非将任意异常归类为超时。单一截止时间流经启动完成、生命周期预停止工作、组件停止、工作池暂停、计时器分片、引擎就绪及日志记录,最终资源释放仅在这些阶段完成后开始;组件首先停止接受新工作并请求协作式取消,`WorkerPool.haltBy(long)` 接受共享的绝对截止时间,而 `haltWithin(long)` 保留用于相对预算,工作池对 `start()` 从未创建的工作线程的启动和暂停闩锁进行倒计时,以便回滚不会等待不可能完成的确认,且 `CairoEngine.isCloseReady(long)` 为引擎扩展提供工作池停止后的预释放阶段。截止时间仅限制 QuestDB 的协调和协作等待,因此无法强制停止忽略取消的应用程序或原生代码,且未完成尝试有意保留内存、文件描述符和原生句柄以换取内存安全;现有的无参关机入口点和遗留工作池描述符仍然可用,且截止时间检查仅在启动回滚和关机路径运行。

改进

此项改进将支持截止时间的关机契约扩展至 Enterprise 生命周期代码,使得单一单调绝对截止时间流经角色切换会合、角色状态关闭、生命周期组件、工作池、WAL 传输、引擎预释放阶段以及可重试备份拆除。成功阶段释放其所有权,而不完整阶段返回可重试的未完成关机信号,并保留所有仍存活的 Java 和原生属主,以便后续尝试用新截止时间恢复。在关机、恢复和备份取消过程中,在等待长期运行工作之前发出信号,生命周期编排器与进行中的角色切换协调,并在时间剩余时反复请求协作式取消,最终关闭图仅在引擎报告就绪后释放,这防止了角色切换或原生任务在引擎释放后观察引擎拥有的状态。原生备份拆除首先关闭准入,然后使用剩余截止时间获取拆除写锁并排空 Rust 管理器,将原生等待向下取整至整毫秒,以免转换超出调用方截止时间;超时时保留原生句柄、Tokio 运行时、备份代理和调度器状态以便重试,且恢复取消映射为结构化的 `RestoreCancelledException`,使得请求关机的取消能干净结束启动,而未请求的取消则保留原始故障。因此,有界超时可导致服务器停止但仍持有 Java 和原生资源,直至重试或终端进程退出策略回收它们,取消是协作式的而非强制的,且当关机钩子应在进程内完成时,部署终止宽限期必须覆盖 `role.switch.timeout` 加上 Enterprise 拆除预留时间。

Bug 修复

上传器的通知事务水位线曾被所有事务通知覆盖,而非仅被提升。由于事件并非按事务顺序投递——重基线表可能先排空事务 1 和 2 的数据,随后带有事务 0 的表创建事件——尾随的低值会将水位线拉低,导致事务日志读取器从未重映射,闲置重基线表永远重试而无法稳定落入上传器索引。此修复仅在排空路径中提升水位线,允许上传器容忍任何事件顺序,同时保持重基线顺序不变。

一个队列段在通过冻结偏移量推进尾指针之前发布了 `frozenForEnqueues` 标志,而 `tryDequeue()` 中的空检查在读取标志后才读取尾指针。在两次写入之间的窗口内,出队者可能将已设置的标志与冻结前的尾指针配对,并从从未推进的尾指针中减去冻结偏移量,导致冻结条件恒为真,报告队列为空尽管其仍持有已提交项;完整栅栏仅排序可见性,因此该竞态在 x86 和 ARM 上均发生。此修复在发布标志前推进尾指针,因此已设置标志始终暗示尾指针已推进,而标志清除但尾指针推进的情况仅重试,不增加额外同步。它还修复了带大小的 `ConcurrentQueue` 构造函数,该构造函数验证了其大小参数但随后忽略它,始终分配 32 槽位的初始段。

此修复解决了两个可能导致无效符号映射的符号映射正确性问题。此前,当可见符号数量减少时,`SymbolMapReaderImpl.updateSymbolCount()` 移除了错误的缓存范围,并将 `maxOffset` 保留在先前的高水位,导致 `keyOf()` 可能返回超出当前符号数量的键;现在符号缓存和 `maxOffset` 随可见符号数量一起收缩。此外,`WalTxnDetails.saveSymbols()` 依赖断言要求写前日志(WAL)符号差异键密集,但生产构建不强制执行此断言,允许稀疏或无效差异通过且无有用诊断。现在在运行时验证符号差异键,若差异稀疏,WAL 应用将报告相关事务和符号元数据并挂起表,而非应用可能不一致的映射,优先选择遏制而非带着无效映射继续。该验证在有效输入下为每个新符号差异条目增加单次整数比较,无逐行工作,但挂起的表需要操作员干预。

评论 (0)