Polars毫秒级扫全A股，指标流水线一次落盘Parquet分析

方案简介

TSP（tick-stock-panel）是一套自托管、零运维的 A 股「选股 + 监控 + 回测」量化工作台。本配方是其计算与存储底座：以 Polars 为核心计算引擎，配合 Parquet 分区表与 DuckDB 存储，构成从原始行情数据（日K/除权/实时/分钟/盘口/财务）到指标信号的全流程本地化研究管线。它解决的痛点是：全 A 股数千只股票的指标计算与策略扫描若用普通 DataFrame/Pandas 方式会很慢，而 TSP 用 Polars 毫秒级扫全 A 股，指标一次扫表落盘 enriched Parquet，后续策略回测、监控、因子研究均直接复用这份数据。适合愿意自托管、以本地量化研究为目的的开发者与个人研究者。

亮点与能力

• 毫秒级全市场扫描：选股引擎以 Polars 驱动，毫秒级扫描全 A 股，日线/分钟策略统一单池，按策略声明周期自动路由执行。
• 68 列指标流水线：MA/EMA/MACD/RSI/KDJ/布林/量比等 68 列指标与信号，一次扫表落盘 enriched Parquet，避免重复计算。
• 多数据集能力路由：日K/除权/实时/分钟/盘口/财务等多数据集按源能力独立路由，任选组合。
• 复权与信号计算：计算层完成复权与信号生成，为策略与回测提供一致口径。
• 多种研究视图：因子回测（IC/IR、分层收益、多空组合）、策略回测、分钟策略回测与验证。
• 结果可复用：回测结果导出 CSV（概要/净值/交易明细/分标的统计），保存候选后一键载入复测。

组成与分工

• Polars：核心计算引擎，承担指标流水线与复权/信号计算，支撑毫秒级全 A 股策略扫描。
• Parquet 分区表：存储层成员，承载 enriched（附加 68 列指标）后的日K数据，按分区组织便于增量同步与快速读取。
• DuckDB：存储层成员，提供本地分析型 SQL 查询能力，与 Parquet 配合完成数据画像、筛选与统计。
• JSON 按日缓存：存储层成员，用于按日粒度的轻量缓存（如时序扩展数据）。

前置要求

• 需接入至少一个数据源（项目数据源插件化，可任意接入第三方数据源）。
• 仅供学习研究使用，严禁商业用途，请自托管部署，不要将数据用于对外服务。

实施步骤

材料未给出完整安装命令，依据架构与文档可梳理实施路径：

1. 接入数据源

项目数据源插件化，内置 TickFlow/fuyao/stock-sdk + YAML 自定义源，按 docs/custom-data-source.md 配置数据源并完成能力检测（能力路由矩阵、档位徽章）。

2. 同步基础数据

在「数据」页完成维表/日K/除权/指数/ETF/分钟K/财务的本地同步，形成本地数据画像与同步状态。

3. 运行指标流水线

由 Polars 计算层对日K执行复权与 68 列指标/信号计算，一次扫表落盘 enriched Parquet，作为后续选股、回测、监控的统一数据面。

4. 验证成功

在「策略 Screener」页执行内置策略，确认 Polars 毫秒级扫描全 A 股可用；在「数据」页查看日K/Enriched/分钟K的同步状态均为就绪即代表管线跑通。

使用与配置要点

• 日常盘后执行数据管道，保持维表/日K/除权/Enriched/分钟K/财务的同步状态最新。
• 选股：在策略页选择内置策略或自定义信号，日线/分钟策略统一单池，由系统按策略声明周期自动路由执行。
• 回测验证：使用「验证」视图做参数敏感性与滚动样本外检验，结果导出 CSV 并可保存候选、一键载入复测。
• 扩展数据：将任意第三方/扩展数据字段配成一级菜单，与内置数据同台分析；时序表支持按日历史回补。

注意事项与常见问题

• 本项目以个人开源为主进行开发维护，不作为投资软件或者看盘软件，不对标同花顺/通达信，不内置「AI 荐股 / 涨停预测」。
• 严禁商业用途，仅作为本地量化提供解决思路与方案。
• 部分能力（如个股分析、复盘）标记为 Beta，功能可能仍在迭代。
• 个别采集能力尚在待办（如全市场竞价扫描为待采集任务）。

优缺点

• ✓ 毫秒级扫描全A股
• ✓ 指标一次扫表落盘复用
• ✕ 仅供学习研究，严禁商业用途
• ✕ 小白请绕路，非看盘软件

出处

本方案挖掘自开源项目 shy3130/tick-stock-panel，方案内容与实施命令均来自其 README 原文。