【Ceph RADOS】BlueStore 写路径：min_alloc_size、deferred/WAL、checksum 与压缩
以 min_alloc_size 为分叉点拆解 BlueStore 的两条写路径：小写经 deferred WAL 先落 RocksDB 再后台应用到裸盘，大写直接落裸盘后原子更新 onode；说明 checksum 计算时机和压缩对分配逻辑的影响。
compression 标签归档
共 19 篇文章 · 返回首页
【Transformer 与注意力机制】51｜量化、蒸馏、剪枝：压缩改变的是三种不同的东西
量化、蒸馏、剪枝常被当成同一件事的三种手段——"让模型变小"，但它们改变的对象、误差来源和失败模式完全不同。本文从 weight-only 与 activation quantization 的假设差异、GPTQ/AWQ/SmoothQuant 的数学分野，讲到 attention、FFN、KV Cache 承受压缩代价的不同，以及 PPL 为什么骗过了很多人的质量评测。
【WiredTiger 内核】Block manager、页格式与压缩
拆解 WiredTiger Block Manager：块与 address cookie、无覆盖写入、checkpoint 的 alloc/avail/discard extent list，以及 allocation_size 与 checksum；压缩只作入口，不写各 codec 手册。
【列存引擎内核】压缩与编码
ClickHouse 列压缩：LZ4、ZSTD、Delta、DoubleDelta、Gorilla 时序编码与列类型关系；CODEC 链顺序、LowCardinality 与 PG TOAST 对照。压缩比须本机实测，本文不编造倍数。
【列存引擎内核】ClickHouse 与 DuckDB 源码级拆解
主选 ClickHouse 拆解 MergeTree 存储格式、向量化执行与分布式协调；DuckDB 作为嵌入式 OLAP 对照。覆盖列存文件布局、merge 机制、跳数索引与生产故障模式，面向数据平台工程师与从 PG/MySQL 转 OLAP 的 DBA。
算术编码与 ANS：超越 Huffman
用区间细分、重归一化与 ANS 槽位图讲清：Huffman 的 1 比特天花板如何被算术编码和 ANS 打破。
【数据湖与开放表格式】列式编码与压缩
拆解 Parquet 的两层缩减：专用编码（dictionary / RLE / DELTA_BINARY_PACKED / BYTE_STREAM_SPLIT）降熵，再用 zstd/snappy/lz4/gzip 压字节。用 pyarrow 在同一列上实测不同编码+压缩组合的体积与读取耗时（3M 行，7 轮中位数），并与 ClickHouse CODEC 做同思想不同落地的对照。
【可观测性工程】数据模型：时间序列、日志、Span、Profile 的内部表达
拆解 Metrics、Logs、Traces、Profiles、Events 五大支柱在磁盘和内存中的内部数据模型。字段级对照 Prometheus TSDB block、Loki chunk、Tempo block，给出带假设的存储成本估算公式，并解释索引策略如何决定账单与查询延迟。
【可观测性工程】存储与成本：采样、下采样、冷热分层、对象存储
可观测性数据量持续增长，存储成本常超过计算成本。拆解四大支柱的成本结构、采样与保留期策略、冷热分层架构，以及带显式假设的成本估算 worksheet。
【可观测性工程】时序数据库内核：TSM、TSI、倒排索引与 Gorilla 压缩
深入时序数据库的存储内核：Prometheus TSDB 的 WAL 与块管理、InfluxDB 的 TSM 引擎与 TSI 倒排索引、Gorilla 压缩算法的数学原理、VictoriaMetrics mergeset 架构、ClickHouse MergeTree 作为 metrics 后端，以及国内大厂在 series churn 和 compaction 风暴上踩过的坑。
【存储工程】压缩算法工程实践
系统对比 LZ4、Zstd、Snappy、Brotli 等压缩算法在存储引擎中的工程实践——压缩率、速度、CPU 开销与选型指南
【存储工程】列式存储原理：为什么分析查询快 10 倍
一条典型的分析查询只访问表中数百列里的三四列，行式存储却把整行数据从磁盘搬进内存，绝大多数字节在读入后立刻被丢弃。列式存储（Columnar Storage）把同一列的值连续存放，查询只需要读取涉及到的列，I/O 量可以降低一到两个数量级。但 I/O 减少只是故事的一半——列式布局还为压缩、向量化执行（Vectoriz…
【存储工程】Btrfs：写时复制文件系统
ext4 和 XFS 走的是"就地更新"路线：数据写到哪个块，就直接覆盖那个块。这条路线简单、高效，但有一个根本性的问题——如果写到一半断电，磁盘上的数据处于半新半旧的状态，文件系统就损坏了。日志（Journal）机制可以缓解这个问题，但它本质上是"先写一遍日志，再写一遍数据"，写放大不可避免。
zstd 深度解剖：FSE 与字典训练
Yann Collet 的杰作：同时赢得速度和压缩率。
BWT 与 FM-index：从 bzip2 到基因组比对
Burrows-Wheeler 变换是字符串算法中最美的发明之一。
乘积量化与 IVF-PQ：十亿向量的工业级检索
当向量数据集大到连 HNSW 都装不下内存，IVF-PQ 是最后一道防线。
Huffman 编码与 DEFLATE
从信息论到 gzip：最经典的压缩算法组合。
时序数据压缩：Gorilla 编码与 Delta-of-Delta
Facebook 的 Gorilla 论文改变了时序数据库的压缩格局。
列式压缩：RLE / Dictionary / FSST
列式存储的压缩率优势，本质上是数据局部性的胜利。