DuckDB
开发框架/库 4w 免费嵌入式进程内 SQL 分析数据库引擎
搭配玩法
5DuckDB + EC2 机器+ 25 Gbit/s 网络+ S3
异步 I/O 查询 S3 上的 Parquet/CSV 数据,速度提升近3倍至20倍
计算与存储分离时同步读取等待远程 I/O 会阻塞线程,异步流水线让获取与解码并行
✓ 查询速度提升近3倍到20倍✓ 打满网络带宽,CPU 利用率高 ✕ 预读占用更多内存,可能内存溢出✕ 行组过少时并行度下降,性能回落
DuckDB + PostgreSQL+ MySQL
通过CONNECT直接下推SQL到PostgreSQL/MySQL执行查询
CONNECT不仅限Quack,可指向任何支持该协议的远程数据库,远程下推优化器直接将SQL发到源库
✓ 避免网络拉取表,直接在源库执行
产品简介
嵌入式进程内 SQL 分析数据库引擎