数据库内核实验索引
汇总本站数据库内核文章：PostgreSQL / MySQL InnoDB / 列存、湖仓、流处理、查询引擎、RocksDB、向量、Redis、全文检索、TiKV/HTAP、FoundationDB、SQLite 与 WiredTiger 内核，以及 LSM-Tree 实验与其它单篇。
wal 标签归档
共 26 篇文章 · 返回首页
【PG 内核】PostgreSQL 内核机制深度拆解
从进程模型到磁盘页面、从 MVCC 到流复制——对 PostgreSQL 内核做完整的源码级拆解。不止步于源码分析：26 篇中 6 篇是运维实战——经典故障的根因与排查路径、性能调查的五层工具链、配置陷阱与恢复边界。面向想读懂 PG 内核源码、在生产环境排查过问题、准备给 PG 贡献代码的工程师。
【向量检索引擎】Streaming Node 与 Woodpecker WAL：实时可搜的日志层
以一条 insert 从 SDK 到「立刻能被搜到」的最小故事为线索，拆解 Milvus 2.6.x Streaming Service 三件套、Message/TSO 写顺序、Woodpecker 零本地盘 WAL 的 MemoryBuffer/QuorumBuffer 模式，并标明官方吞吐数字的引用边界。
【存储工程】WAL 与崩溃恢复：ARIES 协议
WAL 是数据库持久性的基石，ARIES 是工业界公认最完备的崩溃恢复协议。本文从 WAL 三条规则出发，逐步拆解 ARIES 的 Analysis-Redo-Undo 三阶段，结合 InnoDB 实现分析恢复全流程。
【WiredTiger 内核】Journal / Logging：Checkpoint 之间的 WAL
拆解 WiredTiger write-ahead log：WiredTigerLog 文件、LSN、slot 无锁写入、checkpoint 之后自动删日志，以及崩溃恢复时从最近 checkpoint 回放；并标出与 MongoDB journaling 配置的边界。
【WiredTiger 内核】与 PG / InnoDB / RocksDB 机制对照
按缓冲池、写前日志、MVCC 落点、脏页写出与故障模式对照 PostgreSQL、InnoDB、RocksDB 与 WiredTiger；只谈机制与代价，不写未实测延迟排名。
【SQLite 内核】嵌入式行存全景：单文件、单写者、零 IPC
定位单文件嵌入式行存在服务器行存与 LSM 嵌入 KV 之间的生态位；钉住 SQLite 架构约束、站内分工与 17 篇阅读路线，并以 Bayer/McCreight、官方 file format、PVLDB 2022 为学术锚点。
【SQLite 内核】Pager 与 Page Cache
拆解 Pager 作为 B-Tree 与操作系统文件之间的契约层：page cache 命中/未命中路径、脏页生命周期与提交前的可回滚保证，并与 PG shared_buffers、InnoDB Buffer Pool 的跨进程共享模型对照。
【SQLite 内核】WAL 与 checkpoint：追加日志与读写并发
钉住 SQLite WAL 模式如何反转 rollback journal 的读写关系：原始内容留在主文件、新内容追加到 -wal，checkpoint 才把帧搬回主文件；用本机 3.53.2 实测 journal_mode=WAL 切换与 passive/truncate checkpoint 的真实帧数，读放大与 checkpoint 频率的取舍留作开放问题。
【SQLite 内核】ATTACH / 多库边界：跨库事务的原子性在 WAL 下会退化
钉住 ATTACH DATABASE 的命名空间规则、super-journal 如何让跨文件事务在 rollback journal 模式下保持原子，以及官方文档明确写明的一条反常识边界：main 库或任一 attached 库切到 WAL 后，跨库事务只在单文件粒度原子，崩溃中间态可能只改了一部分文件；本机 3.53.2 实测跨库 JOIN、跨库事务提交与 DETACH 锁冲突。
【SQLite 内核】在线备份与 sqlite3_backup：与 cp 热拷贝的语义差
拆解 sqlite3_backup_init/step/finish 与 CLI .backup 如何在不停机的前提下拿到一致快照；用本机 3.53.2 实测 .backup 后备份库 count(*)=3、integrity_check=ok，并实测对比：在写事务打开期间用 cp 拷贝主文件，物理文件已经比头部记录的逻辑页数更大。
【SQLite 内核】与 PG / InnoDB 机制对照：进程、WAL、锁、缓冲池
用进程模型、日志、锁与缓冲池四轴对照 SQLite 与 PostgreSQL / InnoDB：说明嵌入式单文件如何删掉服务器层，以及同名 WAL、隔离、缓存概念为何不能平移运维经验；不写跨库吞吐排名。
【SQLite 内核】单文件 · Pager · B-Tree · VDBE · WAL · 锁
补齐嵌入式行存内核层：从单文件格式、Pager/B-Tree、VDBE 到 Rollback Journal/WAL、锁状态机与计划器，并以 PG/InnoDB、DuckDB、RocksDB 对照收束；承接 sqlite-billion-rows 性能叙事。
【FoundationDB 内核】Transaction Log：提交点、durable version 与异步解耦
拆解 FoundationDB Transaction Log（TLog）如何作为分布式 WAL：按复制策略同步 durable 后 Commit Proxy 才返回成功；说明 durable version、known committed version 与恢复版本的关系，以及 Storage Server 异步消费如何离开提交临界路径。
【RocksDB 内核机制】WAL 与 WriteBatch：持久化与原子批写
从 log::Writer 的 32KB Block 分片 record、WriteBatch 二进制布局，到 DBImpl::WriteImpl 中 Group Commit 与 sync/fsync 语义，钉住写路径第一步：先 WAL 后 MemTable 的提交顺序与原子性边界。
【RocksDB 内核机制】Column Family：共享 WAL 与独立 LSM
从 RocksDB 3.0 引入的 Column Family 出发，拆解共享 WAL、独立 MemTable/SST/Version 链、`ColumnFamilyHandle` 生命周期与 DBOptions/ColumnFamilyOptions 分层；并对照 Flink 多 state 变量到 CF 的映射边界。
【RocksDB 内核机制】LevelDB · WAL · Compaction · Column Family · 生产嵌入
补全存储引擎三角最后一角：从 LevelDB 基线与 RocksDB 架构演进，到 WAL/MemTable/SST 写路径、Get/Iterator 读路径、Leveled/Universal compaction 与 write stall，再到 Column Family、事务、Checkpoint 与 Flink/TiKV 嵌入对照。
【PG 内核】WAL 内部机制：从事务提交到磁盘刷写
拆解 PostgreSQL WAL 的完整内部机制：XLogInsert() 从分段锁到 WAL Buffer 的插入路径、XLogRecord 的物理布局（Header + Block Headers + Data）、Checkpoint 的两阶段流程与 IO 摊平算法、REDO 恢复的 RMGR 分发、wal_level 三级差异的 WAL 记录对比。运维部分聚焦 checkpoint IO 风暴的根因与 checkpoint_completion_target 的调优陷阱、max_wal_size 设小导致 WAL 段疯狂切换的机制，以及用 pg_waldump 定位问题 WAL record 的实操方法。
【PG 内核】逻辑复制与逻辑解码：冲突处理与延迟放大
拆解 PostgreSQL 逻辑复制的完整内核路径：LogicalDecodingContext 从 WAL 解码出逻辑变更的内部流程、Reorder Buffer 按 COMMIT 顺序重排事务与 snapshot 重建机制、pgoutput 输出插件的二进制协议与行过滤变换、Publication/Subscription 模型的内核实现。重点剖析四种冲突类型的根因与修复边界——update_missing/delete_missing 为什么静默跳过而 duplicate_key 直接停摆、subscription 被 disable 后的数据追平策略、序列不在逻辑复制范围内的自增主键冲突陷阱、大事务在 reorder buffer 中的延迟放大效应。
【PG 内核】数据恢复与损坏应对：PITR、pg_resetwal 和页面损坏的边界
拆解 PostgreSQL 数据恢复路径的内部机制与操作边界：PITR 的三个关键窗口与 timeline fork 原理、pg_checksums 的校验粒度与盲区、pg_resetwal 的 hint bit 代价与 VACUUM FULL 陷进、pg_dump 并行调度的内部策略。重点在于每种操作做什么、不做什么、哪些后果不可逆。
【存储工程】写入性能优化
深入分析存储写入性能优化——WAL 分组提交、批量写入、Write Buffer 调优、fsync 频率控制、写入限速与写停顿分析
从零实现一个向量搜索引擎
把前几篇的算法组装起来，构建一个真正可用的向量检索系统。
WAL 与 ARIES 恢复算法
崩溃恢复是数据库最被低估的核心能力。
【从零写一个 LSM-Tree 存储引擎】WAL + MemTable：崩溃了也不丢数据
从零实现 WAL 和 MemTable：WAL 的 record 格式与 32KB Block 对齐、跳表的 O(log n) 插入与查找、InternalKey 编码、崩溃恢复的正确性证明。从零写一个 LSM-Tree 存储引擎系列第 2 篇。
SQLite 是怎么做到十亿行每秒的
拆解 SQLite 的三层性能引擎：B-Tree 页面布局如何把随机 I/O 压到最低、WAL 如何实现读写并发、Page Cache 如何替代操作系统的盲目预读。附 SQLite vs MySQL vs PostgreSQL 嵌入式场景对比分析。
从零写一个 LSM-Tree 存储引擎
五篇长文，从 LSM-Tree 的设计哲学讲到完整 KV 引擎实现，最后用 Rust 重写并三方 benchmark 对比。每篇含完整 C 代码、架构图、数学推导。