【列存引擎内核】压缩与编码
ClickHouse 列压缩：LZ4、ZSTD、Delta、DoubleDelta、Gorilla 时序编码与列类型关系；CODEC 链顺序、LowCardinality 与 PG TOAST 对照。压缩比须本机实测，本文不编造倍数。
compression 标签归档
共 16 篇文章 · 返回首页
【列存引擎内核】ClickHouse 与 DuckDB 源码级拆解
主选 ClickHouse 拆解 MergeTree 存储格式、向量化执行与分布式协调；DuckDB 作为嵌入式 OLAP 对照。覆盖列存文件布局、merge 机制、跳数索引与生产故障模式，面向数据平台工程师与从 PG/MySQL 转 OLAP 的 DBA。
【可观测性工程】数据模型：时间序列、日志、Span、Profile 的内部表达
拆解 Metrics、Logs、Traces、Profiles、Events 五大支柱在磁盘和内存中的内部数据模型。字段级对照 Prometheus TSDB block、Loki chunk、Tempo block，给出带假设的存储成本估算公式，并解释索引策略如何决定账单与查询延迟。
【可观测性工程】存储与成本：采样、下采样、冷热分层、对象存储
可观测性数据量持续增长，存储成本常超过计算成本。拆解四大支柱的成本结构、采样与保留期策略、冷热分层架构，以及带显式假设的成本估算 worksheet。
【Transformer 与注意力机制】51｜量化、蒸馏、剪枝：让大模型跑在小硬件上
大模型部署的瓶颈不只有参数量，还有显存带宽、KV Cache、激活和延迟。本文解释量化、蒸馏、剪枝分别压缩什么：量化降低数值精度，蒸馏把大模型行为迁移到小模型，剪枝移除不重要结构；并说明 GPTQ、AWQ、SmoothQuant 等方法背后的核心取舍。
【可观测性工程】时序数据库内核：TSM、TSI、倒排索引与 Gorilla 压缩
深入时序数据库的存储内核：Prometheus TSDB 的 WAL 与块管理、InfluxDB 的 TSM 引擎与 TSI 倒排索引、Gorilla 压缩算法的数学原理、VictoriaMetrics mergeset 架构、ClickHouse MergeTree 作为 metrics 后端，以及国内大厂在 series churn 和 compaction 风暴上踩过的坑。
【存储工程】压缩算法工程实践
系统对比 LZ4、Zstd、Snappy、Brotli 等压缩算法在存储引擎中的工程实践——压缩率、速度、CPU 开销与选型指南
【存储工程】列式存储原理：为什么分析查询快 10 倍
一条典型的分析查询只访问表中数百列里的三四列，行式存储却把整行数据从磁盘搬进内存，绝大多数字节在读入后立刻被丢弃。列式存储（Columnar Storage）把同一列的值连续存放，查询只需要读取涉及到的列，I/O 量可以降低一到两个数量级。但 I/O 减少只是故事的一半——列式布局还为压缩、向量化执行（Vectoriz…
【存储工程】Btrfs：写时复制文件系统
ext4 和 XFS 走的是"就地更新"路线：数据写到哪个块，就直接覆盖那个块。这条路线简单、高效，但有一个根本性的问题——如果写到一半断电，磁盘上的数据处于半新半旧的状态，文件系统就损坏了。日志（Journal）机制可以缓解这个问题，但它本质上是"先写一遍日志，再写一遍数据"，写放大不可避免。
zstd 深度解剖：FSE 与字典训练
Yann Collet 的杰作：同时赢得速度和压缩率。
BWT 与 FM-index：从 bzip2 到基因组比对
Burrows-Wheeler 变换是字符串算法中最美的发明之一。
乘积量化与 IVF-PQ：十亿向量的工业级检索
当向量数据集大到连 HNSW 都装不下内存，IVF-PQ 是最后一道防线。
Huffman 编码与 DEFLATE
从信息论到 gzip：最经典的压缩算法组合。
算术编码与 ANS：超越 Huffman
当 Huffman 的整数比特限制成为瓶颈，算术编码打破了这道墙。
时序数据压缩：Gorilla 编码与 Delta-of-Delta
Facebook 的 Gorilla 论文改变了时序数据库的压缩格局。
列式压缩：RLE / Dictionary / FSST
列式存储的压缩率优势，本质上是数据局部性的胜利。