列式压缩：轻量编码怎么选、Parquet 与 ORC 怎么写、编码数据上怎么算
对照 Parquet 2.11 规范与 Arrow、ORC 源码拆开字典、RLE/位打包混合、DELTA 与 RLEv2，讲清写入器何时放弃字典；在 TPC-H lineitem 上按字节比较 Parquet、ORC 与级联选择，并数出在编码数据上执行省下的工作。
orc 标签归档
共 2 篇文章 · 返回首页
【数据湖与开放表格式】ORC 文件格式与 Parquet 对照
ORC 用 stripe 而非 row group、用三级统计（file/stripe/row-group index）而非独立 page index、用 PRESENT/DATA 等 stream 而非 page 组织一列。本文按 ORC 规范拆其文件尾（postscript + footer）、stripe 内部结构与 RLEv2 整数编码，并用本机 pyarrow 24.0.0 把同一份 30 万行数据写成 ORC 与 Parquet，对比真实体积与物理布局，最后给出什么场景仍用 ORC。