土法炼钢兴趣小组的算法知识备份

发布来自土法炼钢兴趣小组的知识、笔记、进展和应用。主题包括数据结构和算法、编程语言、网络安全、密码学等。

byte-stream-split 标签归档

共 1 篇文章 · 返回首页

【数据湖与开放表格式】列式编码与压缩

2026-06-30 | database · storage | #parquet #dictionary-encoding #rle #zstd #compression #byte-stream-split #delta-encoding

拆解 Parquet 的两层缩减：专用编码（dictionary / RLE / DELTA_BINARY_PACKED / BYTE_STREAM_SPLIT）降熵，再用 zstd/snappy/lz4/gzip 压字节。用 pyarrow 在同一列上实测不同编码+压缩组合的体积与读取耗时（3M 行，7 轮中位数），并与 ClickHouse CODEC 做同思想不同落地的对照。