土法炼钢兴趣小组的算法知识备份

【存储工程】Parquet 文件格式深度解析

2025-09-14 | storage | #parquet #row-group #column-chunk #encoding #predicate-pushdown #pyarrow

上一篇我们讨论了列式存储（Columnar Storage）的核心思想：把同一列的数据连续存放，让分析查询只读取需要的列，而不是扫描整行。这个思想落地到具体文件格式时，需要回答一系列工程问题：文件内部怎么组织数据才能同时支持并行读取和列裁剪？同一列的数据用什么编码方式才能最大化压缩率？如何在不读取全部数据的前提下跳过不…