【可观测性工程】时序数据库内核：TSM、TSI、倒排索引与 Gorilla 压缩
深入时序数据库的存储内核：Prometheus TSDB 的 WAL 与块管理、InfluxDB 的 TSM 引擎与 TSI 倒排索引、Gorilla 压缩算法的数学原理、VictoriaMetrics mergeset 架构、ClickHouse MergeTree 作为 metrics 后端，以及国内大厂在 series churn 和 compaction 风暴上踩过的坑。
compression 标签归档
共 11 篇文章 · 返回首页
【存储工程】压缩算法工程实践
系统对比 LZ4、Zstd、Snappy、Brotli 等压缩算法在存储引擎中的工程实践——压缩率、速度、CPU 开销与选型指南
【存储工程】列式存储原理：为什么分析查询快 10 倍
一条典型的分析查询只访问表中数百列里的三四列，行式存储却把整行数据从磁盘搬进内存，绝大多数字节在读入后立刻被丢弃。列式存储（Columnar Storage）把同一列的值连续存放，查询只需要读取涉及到的列，I/O 量可以降低一到两个数量级。但 I/O 减少只是故事的一半——列式布局还为压缩、向量化执行（Vectoriz…
【存储工程】Btrfs：写时复制文件系统
ext4 和 XFS 走的是"就地更新"路线：数据写到哪个块，就直接覆盖那个块。这条路线简单、高效，但有一个根本性的问题——如果写到一半断电，磁盘上的数据处于半新半旧的状态，文件系统就损坏了。日志（Journal）机制可以缓解这个问题，但它本质上是"先写一遍日志，再写一遍数据"，写放大不可避免。
zstd 深度解剖：FSE 与字典训练
Yann Collet 的杰作：同时赢得速度和压缩率。
BWT 与 FM-index：从 bzip2 到基因组比对
Burrows-Wheeler 变换是字符串算法中最美的发明之一。
乘积量化与 IVF-PQ：十亿向量的工业级检索
当向量数据集大到连 HNSW 都装不下内存，IVF-PQ 是最后一道防线。
Huffman 编码与 DEFLATE
从信息论到 gzip：最经典的压缩算法组合。
算术编码与 ANS：超越 Huffman
当 Huffman 的整数比特限制成为瓶颈，算术编码打破了这道墙。
时序数据压缩：Gorilla 编码与 Delta-of-Delta
Facebook 的 Gorilla 论文改变了时序数据库的压缩格局。
列式压缩：RLE / Dictionary / FSST
列式存储的压缩率优势，本质上是数据局部性的胜利。