【数据湖与开放表格式】列式编码与压缩
拆解 Parquet 的两层缩减：专用编码（dictionary / RLE / DELTA_BINARY_PACKED / BYTE_STREAM_SPLIT）降熵，再用 zstd/snappy/lz4/gzip 压字节。用 pyarrow 在同一列上实测不同编码+压缩组合的体积与读取耗时（3M 行，7 轮中位数），并与 ClickHouse CODEC 做同思想不同落地的对照。
delta-encoding 标签归档
共 5 篇文章 · 返回首页
【rsync 原理】差异同步算法：滚动校验与两级匹配
源端看不到目标端文件，rsync 凭什么只传改动的几 KB？从 Tridgell 的 rsync 算法出发，用 rsync 3.4.4 源码钉住弱滚动校验的 O(1) 更新、弱+强两级匹配、sqrt 块大小与签名长度随文件增长的权衡，讲清差异是怎么在不传整文件的前提下被算出来的。
【rsync 原理】协议、进程模型与实测
rsync 的差异算法落到真实工具里，是 generator/sender/receiver 三个进程在一条管线上跑。本文用 rsync 3.4.4 源码与 wire 行为讲清三角色分工、文件列表与逐文件生命周期、token 字节流格式、强校验协商与版本边界，并在本机内核 6.6 上实测：100 MiB 文件改 1 字节，delta 走约 120 KB，whole-file 走整 100 MiB。
【存储工程】存储编码技术：从变长整数到字典编码
深入剖析存储系统中的核心编码技术——变长整数、差值编码、字典编码、游程编码、位图编码与位打包，分析各编码方式的空间效率和解码速度
时序数据压缩：Gorilla 编码与 Delta-of-Delta
Facebook 的 Gorilla 论文改变了时序数据库的压缩格局。