byte-stream-split 标签归档 | 土法炼钢

【数据湖与开放表格式】列式编码与压缩

2026-06-30 | database · storage | #parquet #dictionary-encoding #rle #zstd #compression #byte-stream-split #delta-encoding

拆解 Parquet 的两层缩减：专用编码（dictionary / RLE / DELTA_BINARY_PACKED / BYTE_STREAM_SPLIT）降熵，再用 zstd/snappy/lz4/gzip 压字节。用 pyarrow 在同一列上实测不同编码+压缩组合的体积与读取耗时（3M 行，7 轮中位数）…