数据库内核实验索引
汇总本站数据库内核文章：PostgreSQL / MySQL InnoDB / 列存引擎 / 数据湖与开放表格式 / 流式数据处理 / 分布式 OLAP 查询引擎 / RocksDB 内核 / 向量检索引擎 / Redis 缓存内核 / 全文检索引擎，以及 LSM-Tree 从零实现实验。
rocksdb 标签归档
共 33 篇文章 · 返回首页
【Redis / 缓存内核】缓存服务器全景：HashMap · Memcached · Redis · 嵌入 KV
定位进程内 HashMap、Memcached、Redis 与 RocksDB 嵌入 KV 在内存缓存栈中的生态位；划分与 architecture/17、storage/66、linux/redis-source 的分工，并给出本系列 16 篇阅读地图。
【Redis / 缓存内核】选型与阅读地图：standalone · Sentinel · Cluster · Valkey
用决策树收束 standalone、Sentinel、Cluster 与纯缓存分工，简述 Valkey ABI 社区分叉与 Redis 模块边界，列出多线程与持久化争论，并给出回到本系列、architecture/17 与 RocksDB 的阅读地图以闭合全系列。
【RocksDB 内核机制】生产嵌入对照：Flink · TiKV · Kafka Streams
从 RocksDB 内核侧补全 Flink KeyGroup 前缀与增量 checkpoint SST 上传机制，对照 TiKV Region 引擎与 Kafka Streams changelog 容错；不重复 stream/12 作业侧全文，给出 Docker 复现步骤而不伪造 checkpoint 指标。
【流式数据处理】键控状态与 State TTL
系统拆解 ValueState、ListState、MapState、ReducingState、AggregatingState 的语义与适用场景，对比 HashMapStateBackend 与 EmbeddedRocksDBStateBackend 选型，讲清 State TTL 的更新/可见性/清理策略，并给出窗口 state 与 RocksDB 磁盘占用的估算方法。
【流式数据处理】RocksDB State Backend 内核路径
拆解 Flink EmbeddedRocksDBStateBackend 的物理布局：每个 subtask 独立 RocksDB 实例、ColumnFamily 与 KeyGroup 前缀映射、写路径 memtable→WAL→flush→compaction 与 lsm-tree 系列对照、读路径 block cache 与读放大、增量 checkpoint 与全量 snapshot 的 IO 差异。
【流式数据处理】状态放大、Compaction 与调优
在 RocksDB state backend 读写路径之上，拆解窗口 state 膨胀、LSM 写放大与 checkpoint 争抢磁盘、Flink managed memory 与 RocksDBOptionsFactory 调参边界，以及 hot key 导致单 subtask 过热时的诊断与「改 state 设计 vs 拧参数」取舍。
【流式数据处理】背压、故障模式与引擎对照
收束流式数据处理系列：Flink credit-based 背压如何沿算子链传播、Web UI 指标怎么读；数据倾斜、checkpoint 超时连锁、Kafka rebalance 风暴、RocksDB OOM、savepoint 不兼容五类生产故障的诊断与止血；Flink / Kafka Streams / Spark Structured Streaming / RisingWave 在状态模型、交付语义、运维与入湖成熟度上的对照表与选型决策树，不做排名。
【流式数据处理】Kafka · Flink · 状态 · Exactly-Once
承接数据湖流式入湖：从 Kafka 日志与副本语义，到 Flink 事件时间、watermark、窗口、RocksDB 状态与 checkpoint，再到端到端 exactly-once 与 Debezium CDC 入湖。面向数据平台与实时工程师，补全批式湖仓之外的实时计算层。
【RocksDB 内核机制】WAL 与 WriteBatch：持久化与原子批写
从 log::Writer 的 32KB Block 分片 record、WriteBatch 二进制布局，到 DBImpl::WriteImpl 中 Group Commit 与 sync/fsync 语义，钉住写路径第一步：先 WAL 后 MemTable 的提交顺序与原子性边界。
【RocksDB 内核机制】MemTable 与 Flush：SkipList 到 L0 SST
从 SkipList MemTableRep、MemTableList 的 immutable 双缓冲队列，到 FlushJob::WriteLevel0Table 与 VersionSet 安装 L0 文件，闭合 WAL 之后 MemTable 如何变成 SST，并对照 lsm-tree DIY 实现。
【RocksDB 内核机制】SST 格式与 MANIFEST：BlockBasedTable 与 VersionSet
从 BlockBasedTable 的 Data/Index/Filter Block 与 Footer 定界，到 VersionEdit 增量记录与 VersionSet::LogAndApply 如何维护 LSM 快照，并用 sst_dump 对照磁盘布局。
【RocksDB 内核机制】Column Family：共享 WAL 与独立 LSM
从 RocksDB 3.0 引入的 Column Family 出发，拆解共享 WAL、独立 MemTable/SST/Version 链、`ColumnFamilyHandle` 生命周期与 DBOptions/ColumnFamilyOptions 分层；并对照 Flink 多 state 变量到 CF 的映射边界。
【RocksDB 内核机制】Checkpoint、Backup 与 External Ingest
拆解 Checkpoint 同盘硬链接快照、BackupEngine 增量备份目录布局、SstFileWriter 离线建表与 IngestExternalFile 的 sequence 分配及 write stall 边界——对接 Flink 增量 checkpoint 与 bulk load 运维路径。
【RocksDB 内核机制】LevelDB · WAL · Compaction · Column Family · 生产嵌入
补全存储引擎三角最后一角：从 LevelDB 基线与 RocksDB 架构演进，到 WAL/MemTable/SST 写路径、Get/Iterator 读路径、Leveled/Universal compaction 与 write stall，再到 Column Family、事务、Checkpoint 与 Flink/TiKV 嵌入对照。
【RocksDB 内核机制】Get 与 Snapshot：SuperVersion 与 sequence number
从 DBImpl::GetImpl 层级查找路径出发，拆解 LookupKey、sequence number 编码、SuperVersion 引用与 Snapshot 可见性边界；对照 PostgreSQL MVCC 的 txn id 语义差异。
【RocksDB 内核机制】Iterator 与 MergeIterator：范围扫描与 tombstone
沿 DBImpl::NewInternalIterator 拆解 InternalIterator 栈、MergeIterator 多路归并与 LevelIterator；说明 DBIter 上 tombstone/range del 的可见性裁剪及与 compaction 归并堆的同构关系。
【RocksDB 内核机制】事务与 OptimisticTransactionDB：WritePrepared 边界
对照 WriteBatch 原子性与 Snapshot MVCC，拆解 TransactionDB 悲观锁、OptimisticTransactionDB 提交时冲突检测、WritePrepared 的 prepare/commit 与 CommitCache 边界；TiKV 分布式事务仅作 B 级前瞻，不替代 Percolator 正文。
【RocksDB 内核机制】LSM 生态全景：存储引擎三角与 RocksDB 生态位
闭合存储引擎三角的最后一角：对照 PG B-Tree 与列存 scan，定位 LSM 写优化引擎在 TiKV、Flink、Kafka Streams、ClickHouse Embedded 中的嵌入方式，并划分本系列与 lsm-tree DIY、storage/31–32、stream/12 的分工边界。
【RocksDB 内核机制】RocksDB 架构演进：相对 LevelDB 的 diff 地图
对照 LevelDB 1.23，用 diff 表与源码路径梳理 RocksDB 9.x 的多线程 flush/compaction、Column Family、RateLimiter、Direct IO、Statistics 与并发 MemTable 写，建立后续读 db_impl 子文件的坐标系。
【RocksDB 内核机制】Block Cache 与 Bloom：读放大裁剪
沿 TableCache 与 BlockBasedTable 读路径说明 Block Cache、Table Cache、Full/Ribbon Filter 与 Partitioned Index 如何裁剪点查 I/O；读放大度量与调参边界引用 storage/68，不重复全文推导。
【RocksDB 内核机制】Leveled Compaction：层级不变式与 CompactionPicker
从 L0 重叠与 L1+ 不重叠不变式、Size Ratio 与 base_level 动态计算，到 LevelCompactionPicker 如何选 L0→Lbase 与 Intra-L0；三种放大与 storage/31 衔接，exp10 用 db_bench stats 观察层级分布。
【RocksDB 内核机制】Universal、FIFO 与 Write Stall
对照 Universal/FIFO/TTL compaction 策略，从 GetWriteStallConditionAndCause 与 WriteController 的 Stop/Delay token，到 DBImpl::DelayWrite 状态机、LOG 与 GetProperty 判读；exp11 用极低 L0 阈值触发 stall。
【RocksDB 内核机制】并发 Compaction 与 Rate Limiter
从 CompactionJob 的 Prepare/Run/Install 与 subcompaction 并行，到 Env 高低优先级线程池、MaybeScheduleFlushOrCompaction 调度，以及 GenericRateLimiter 的 kWritesOnly 与 DelayWrite 的争抢关系；exp12 三路中位数对比方法论。
【RocksDB 内核机制】经典故障与排查
用 GetProperty 与 LOG 钉住 L0 堆积、compaction 落后、Block Cache 未命中与 ENOSPC write stall 四类生产故障；交叉引用 storage/76 磁盘耗尽链，给出 db_bench 复现步骤而不伪造 stats 数字。
【RocksDB 内核机制】选型与存储栈阅读地图
用决策树收束 RocksDB 与 InnoDB、列存、湖仓的适用边界；给出存储引擎三角 + 数据平台全栈阅读地图，对接 query-engine/18 与 postgresql-kernel，并标注 HTAP/TiKV 续作入口。
【数据库前沿】【数据库研究前沿】持久内存退场之后：ZNS SSD 与下一代非易失内存
Intel Optane / 3D XPoint 产品线 EOL 之后，SOFORT、FPTree、RECIPE 等 PM 数据库的成果如何迁移？ZNS SSD 对 LSM-Tree 的意义、RocksDB 的 ZNS 适配、PMDK 兼容层的取舍，以及把 CXL memory 作为下一代非易失载体的可能性——本文给出一份面向工程师的'后 Optane 时代'清单。
【存储工程】RocksDB 工程实践
从 Column Family、Write Buffer、Block Cache、Compaction、Rate Limiter 到 Direct I/O 和监控，系统拆解 RocksDB 在生产环境中的关键配置与故障模式，并给出 SSD 场景下的配置模板和 db_bench 基准测试方法。
【存储工程】嵌入式存储引擎对比
当我们提到"数据库"时，多数人首先想到的是 MySQL、PostgreSQL 这类以独立进程运行的数据库服务器。客户端通过网络协议连接到服务器，服务器管理存储、索引、事务和并发控制。然而，还有一类存储系统以库（Library）的形式直接链接到应用进程中，不需要独立的服务器进程，不需要网络通信，不需要序列化和反序列化——…
B+tree 与 LSM-tree：两种存储引擎哲学的碰撞
数据库存储引擎的核心之争——原地更新还是追加写入？B+tree 与 LSM-tree 代表了两种截然不同的设计哲学，理解它们的取舍，就是理解现代存储系统设计的根基。
LSM-tree Compaction 策略
Compaction 是 LSM-tree 的心脏，也是它最大的痛点。
【从零写一个 LSM-Tree 存储引擎】LSM-Tree 全景：为什么要先写日志再排序
从零理解 LSM-Tree 存储引擎的设计哲学：B-Tree 与 LSM-Tree 的本质差异，写放大/读放大/空间放大的三角权衡，以及 WAL、MemTable、SSTable、Compaction、Bloom Filter 各组件的角色与协作关系。从零写一个 LSM-Tree 存储引擎系列第 1 篇。
从零写一个 LSM-Tree 存储引擎
五篇长文，从 LSM-Tree 的设计哲学讲到完整 KV 引擎实现，最后用 Rust 重写并三方 benchmark 对比。每篇含完整 C 代码、架构图、数学推导。