【量化交易】行情与基本面数据管线：tick、bar、因子库
把量化系统里最容易藏雷的数据层从 tick 写到因子库走一遍：行情源接入与质量评估、tick 到 dollar bar 的 de Prado 式重采样、Parquet/Arrow/DuckDB/ClickHouse 列存选型、增量回填与断点续传、公司行动与前后复权、PIT 因子库与版本化查询、缺失监控与漂移检测；附 polars + pyarrow + duckdb 的可运行实现。
parquet 标签归档
共 5 篇文章 · 返回首页
【数据库研究前沿】多模态数据库：文本、向量、图、张量的统一存储
系统梳理 LanceDB、Chroma、Weaviate、SurrealDB 等多模态数据库的架构差异；列存格式（Lance、Parquet）如何支持张量；给出多模态一体化的选型矩阵，并与仓库的 Parquet/Arrow 文章互链。
【数据库研究前沿】湖仓一体一致性模型：Iceberg、Delta、Hudi 的事务边界
从 metadata layout、快照隔离、多写者协议、schema/partition evolution 四个维度重读 Apache Iceberg、Delta Lake、Apache Hudi，给出选型矩阵与湖仓一体在对象存储上的事务边界
【存储工程】Parquet 文件格式深度解析
上一篇我们讨论了列式存储（Columnar Storage）的核心思想：把同一列的数据连续存放，让分析查询只读取需要的列，而不是扫描整行。这个思想落地到具体文件格式时，需要回答一系列工程问题：文件内部怎么组织数据才能同时支持并行读取和列裁剪？同一列的数据用什么编码方式才能最大化压缩率？如何在不读取全部数据的前提下跳过不…
列式压缩：RLE / Dictionary / FSST
列式存储的压缩率优势，本质上是数据局部性的胜利。