【存储工程】LSM-Tree 工程调优：三种放大的权衡
LSM-Tree 的核心设计是把随机写转换为顺序写，但这个转换不是免费的。写入经过 MemTable 刷盘、再经过多次 Compaction 合并，每一字节的用户数据在磁盘上可能被反复读写数十次。读取一个 key 时，最坏情况下需要逐层搜索，直到命中或遍历全部层级。与此同时，旧版本数据和墓碑标记占用的额外空间，在 Co…
lsm-tree 标签归档
共 24 篇文章 · 返回首页
数据库内核实验索引
汇总本站数据库内核文章：PostgreSQL / MySQL InnoDB / 列存引擎 / 数据湖与开放表格式 / 流式数据处理 / 分布式 OLAP 查询引擎 / RocksDB 内核 / 向量检索引擎 / Redis 缓存内核 / 全文检索引擎，以及 LSM-Tree 从零实现实验。
【RocksDB 内核机制】生产嵌入对照：Flink · TiKV · Kafka Streams
从 RocksDB 内核侧补全 Flink KeyGroup 前缀与增量 checkpoint SST 上传机制，对照 TiKV Region 引擎与 Kafka Streams changelog 容错；不重复 stream/12 作业侧全文，给出 Docker 复现步骤而不伪造 checkpoint 指标。
【流式数据处理】RocksDB State Backend 内核路径
拆解 Flink EmbeddedRocksDBStateBackend 的物理布局：每个 subtask 独立 RocksDB 实例、ColumnFamily 与 KeyGroup 前缀映射、写路径 memtable→WAL→flush→compaction 与 lsm-tree 系列对照、读路径 block cache 与读放大、增量 checkpoint 与全量 snapshot 的 IO 差异。
【流式数据处理】状态放大、Compaction 与调优
在 RocksDB state backend 读写路径之上，拆解窗口 state 膨胀、LSM 写放大与 checkpoint 争抢磁盘、Flink managed memory 与 RocksDBOptionsFactory 调参边界，以及 hot key 导致单 subtask 过热时的诊断与「改 state 设计 vs 拧参数」取舍。
【RocksDB 内核机制】WAL 与 WriteBatch：持久化与原子批写
从 log::Writer 的 32KB Block 分片 record、WriteBatch 二进制布局，到 DBImpl::WriteImpl 中 Group Commit 与 sync/fsync 语义，钉住写路径第一步：先 WAL 后 MemTable 的提交顺序与原子性边界。
【RocksDB 内核机制】MemTable 与 Flush：SkipList 到 L0 SST
从 SkipList MemTableRep、MemTableList 的 immutable 双缓冲队列，到 FlushJob::WriteLevel0Table 与 VersionSet 安装 L0 文件，闭合 WAL 之后 MemTable 如何变成 SST，并对照 lsm-tree DIY 实现。
【RocksDB 内核机制】SST 格式与 MANIFEST：BlockBasedTable 与 VersionSet
从 BlockBasedTable 的 Data/Index/Filter Block 与 Footer 定界，到 VersionEdit 增量记录与 VersionSet::LogAndApply 如何维护 LSM 快照，并用 sst_dump 对照磁盘布局。
【RocksDB 内核机制】Column Family：共享 WAL 与独立 LSM
从 RocksDB 3.0 引入的 Column Family 出发，拆解共享 WAL、独立 MemTable/SST/Version 链、`ColumnFamilyHandle` 生命周期与 DBOptions/ColumnFamilyOptions 分层；并对照 Flink 多 state 变量到 CF 的映射边界。
【RocksDB 内核机制】LevelDB · WAL · Compaction · Column Family · 生产嵌入
补全存储引擎三角最后一角：从 LevelDB 基线与 RocksDB 架构演进，到 WAL/MemTable/SST 写路径、Get/Iterator 读路径、Leveled/Universal compaction 与 write stall，再到 Column Family、事务、Checkpoint 与 Flink/TiKV 嵌入对照。
【RocksDB 内核机制】LevelDB 基线：单线程 Leveled 与 DBImpl 骨架
以 LevelDB 1.23 为对照基线：拆解单后台 compaction 线程、无 Column Family 的 DBImpl 结构，以及 Write 队列 group commit、Get 层级查找与 SST/MANIFEST 最小语义，为 RocksDB 9.x diff 地图打底。
【RocksDB 内核机制】Get 与 Snapshot：SuperVersion 与 sequence number
从 DBImpl::GetImpl 层级查找路径出发，拆解 LookupKey、sequence number 编码、SuperVersion 引用与 Snapshot 可见性边界；对照 PostgreSQL MVCC 的 txn id 语义差异。
【RocksDB 内核机制】LSM 生态全景：存储引擎三角与 RocksDB 生态位
闭合存储引擎三角的最后一角：对照 PG B-Tree 与列存 scan，定位 LSM 写优化引擎在 TiKV、Flink、Kafka Streams、ClickHouse Embedded 中的嵌入方式，并划分本系列与 lsm-tree DIY、storage/31–32、stream/12 的分工边界。
【RocksDB 内核机制】选型与存储栈阅读地图
用决策树收束 RocksDB 与 InnoDB、列存、湖仓的适用边界；给出存储引擎三角 + 数据平台全栈阅读地图，对接 query-engine/18 与 postgresql-kernel，并标注 HTAP/TiKV 续作入口。
【数据库前沿】【数据库研究前沿】持久内存退场之后：ZNS SSD 与下一代非易失内存
Intel Optane / 3D XPoint 产品线 EOL 之后，SOFORT、FPTree、RECIPE 等 PM 数据库的成果如何迁移？ZNS SSD 对 LSM-Tree 的意义、RocksDB 的 ZNS 适配、PMDK 兼容层的取舍，以及把 CXL memory 作为下一代非易失载体的可能性——本文给出一份面向工程师的'后 Optane 时代'清单。
【存储工程】存储引擎概览：堆文件到 LSM-Tree 的演化路径
数据库系统的架构可以划分为两大层：上层的查询处理层负责解析 SQL、生成执行计划、优化查询；下层的存储引擎（Storage Engine）负责把数据持久化到磁盘，并在需要时高效地把数据取回来。查询处理层决定"做什么"，存储引擎决定"怎么存、怎么取"。同一个查询处理层可以对接不同的存储引擎——MySQL 的 InnoDB…
B+tree 与 LSM-tree：两种存储引擎哲学的碰撞
数据库存储引擎的核心之争——原地更新还是追加写入？B+tree 与 LSM-tree 代表了两种截然不同的设计哲学，理解它们的取舍，就是理解现代存储系统设计的根基。
LSM-tree Compaction 策略
Compaction 是 LSM-tree 的心脏，也是它最大的痛点。
【从零写一个 LSM-Tree 存储引擎】Compaction：LSM-Tree 的心脏手术
从零实现 LSM-Tree Compaction：最小堆多路归并迭代器、Level 分层与 Compaction 打分、Tombstone 下推、Version/VersionEdit/MANIFEST 版本管理，以及 Leveled/Size-Tiered/Universal 三种策略的量化对比。从零写一个 LSM-Tree 存储引擎系列第 4 篇。
【从零写一个 LSM-Tree 存储引擎】完整引擎 + Rust 重写对比
组装完整 LSM-Tree 存储引擎：DB 接口（Open/Put/Get/Delete/Iterator/Snapshot）、单写多读并发控制、启动恢复，然后用 Rust 重写核心模块，记录 5 个编译器不让我过的故事，最后三方 benchmark 对比。从零写一个 LSM-Tree 存储引擎系列第 5 篇。
【从零写一个 LSM-Tree 存储引擎】LSM-Tree 全景：为什么要先写日志再排序
从零理解 LSM-Tree 存储引擎的设计哲学：B-Tree 与 LSM-Tree 的本质差异，写放大/读放大/空间放大的三角权衡，以及 WAL、MemTable、SSTable、Compaction、Bloom Filter 各组件的角色与协作关系。从零写一个 LSM-Tree 存储引擎系列第 1 篇。
【从零写一个 LSM-Tree 存储引擎】SSTable + Bloom Filter：磁盘上的有序表
从零实现 SSTable 和 Bloom Filter：Data Block 前缀压缩与 restart 二分查找、Bloom Filter 双重哈希把误判率压到约 1%、SSTable Builder 和 Reader 的完整 C 代码。从零写一个 LSM-Tree 存储引擎系列第 3 篇。
【从零写一个 LSM-Tree 存储引擎】WAL + MemTable：崩溃了也不丢数据
从零实现 WAL 和 MemTable：WAL 的 record 格式与 32KB Block 对齐、跳表的 O(log n) 插入与查找、InternalKey 编码、崩溃恢复的正确性证明。从零写一个 LSM-Tree 存储引擎系列第 2 篇。
从零写一个 LSM-Tree 存储引擎
五篇长文，从 LSM-Tree 的设计哲学讲到完整 KV 引擎实现，最后用 Rust 重写并三方 benchmark 对比。每篇含完整 C 代码、架构图、数学推导。