【流式数据处理】交付语义：从 at-most-once 到 exactly-once
用 Source、引擎、Sink 三层模型拆解 at-most-once、at-least-once、exactly-once 的组合规则与最弱环决定律；对照 Flink checkpoint 模式、Kafka 事务与幂等 producer、重复消费/重复写入的三类修复手段，为两阶段提交 sink 铺垫。
checkpoint 标签归档
共 26 篇文章 · 返回首页
【流式数据处理】两阶段提交与端到端 Exactly-Once
拆解 Flink GenericTwoPhaseCommitSink 协议：preCommit 进 checkpoint、commit 挂 notifyCheckpointComplete；对照 Kafka 事务 sink、JDBC 与 Iceberg 2PC 落点，以及 commit 前/后崩溃与重复 commit 的幂等边界——与 lakehouse/11 CAS、lakehouse/19 入湖侧对读，不重复表格式全文。
【存储工程】WAL 与崩溃恢复：ARIES 协议
WAL 是数据库持久性的基石，ARIES 是工业界公认最完备的崩溃恢复协议。本文从 WAL 三条规则出发，逐步拆解 ARIES 的 Analysis-Redo-Undo 三阶段，结合 InnoDB 实现分析恢复全流程。
【WiredTiger 内核】文档库存储引擎全景：MongoDB 默认引擎的生态位
定位文档库默认引擎 WiredTiger 相对 PG/InnoDB/SQLite/RocksDB 的生态位；钉住 Session→Cache→Reconcile→HS→Checkpoint 主线、站内分工与 17 篇阅读路线，并以 Berenson 隔离词汇与 Durable History 为学术/工程锚点。
【WiredTiger 内核】Reconciliation：内存页到 on-disk image
拆解 WiredTiger reconciliation：把 in-memory 页转为 on-disk image、按 leaf_page_max 与 split_pct 分裂，并在用户表 reconcile 时选出最新已提交值、将更旧更新写入 History Store；锚定 wiki 与 src/reconcile/。
【WiredTiger 内核】Checkpoint：跨文件一致快照
拆解 WiredTiger checkpoint 算法：先借 eviction 减压，再按用户表→History Store→元数据顺序 reconcile 并原子切换；说明 checkpoint generation 与 eviction 的可见性约束，以及与 journal 的耐久分工。
【WiredTiger 内核】Journal / Logging：Checkpoint 之间的 WAL
拆解 WiredTiger write-ahead log：WiredTigerLog 文件、LSN、slot 无锁写入、checkpoint 之后自动删日志，以及崩溃恢复时从最近 checkpoint 回放；并标出与 MongoDB journaling 配置的边界。
【WiredTiger 内核】Block manager、页格式与压缩
拆解 WiredTiger Block Manager：块与 address cookie、无覆盖写入、checkpoint 的 alloc/avail/discard extent list，以及 allocation_size 与 checksum；压缩只作入口，不写各 codec 手册。
【WiredTiger 内核】Compaction 与 Backup：空间回收与一致性边界
拆解 WiredTiger compaction 如何把文件尾块前移并依赖多次 checkpoint 才能截断文件；说明 backup cursor 期间禁用日志删除与预分配的契约，以及 background compaction 的节流条件。
【WiredTiger 内核】MongoDB 嵌入边界：cache、checkpoint 与历史窗口
对照 MongoDB 手册与本系列机制：cacheSizeGB、约 60s checkpoint、journal 与 minSnapshotHistoryWindowInSeconds 如何映射到 WT Cache/Checkpoint/Logging/HS；复制集与分片只作边界，不展开。
【WiredTiger 内核】Cache · Eviction · Reconciliation · History Store · Checkpoint
补齐文档库默认引擎内核层：从 Connection/Session、Cache/Eviction、B-Tree update chain、Reconciliation 到 Timestamps、History Store、Checkpoint/Journal 与 Rollback-to-Stable，并以 MongoDB 嵌入边界与 PG/InnoDB/RocksDB 对照收束。
【SQLite 内核】WAL 与 checkpoint：追加日志与读写并发
钉住 SQLite WAL 模式如何反转 rollback journal 的读写关系：原始内容留在主文件、新内容追加到 -wal，checkpoint 才把帧搬回主文件；用本机 3.53.2 实测 journal_mode=WAL 切换与 passive/truncate checkpoint 的真实帧数，读放大与 checkpoint 频率的取舍留作开放问题。
【SQLite 内核】在线备份与 sqlite3_backup：与 cp 热拷贝的语义差
拆解 sqlite3_backup_init/step/finish 与 CLI .backup 如何在不停机的前提下拿到一致快照；用本机 3.53.2 实测 .backup 后备份库 count(*)=3、integrity_check=ok，并实测对比：在写事务打开期间用 cp 拷贝主文件，物理文件已经比头部记录的逻辑页数更大。
【流式数据处理】Checkpoint 机制：Barrier 对齐与一致性快照
从 Chandy-Lamport 分布式快照到 Flink aligned/unaligned checkpoint：CheckpointCoordinator 触发—ack—完成生命周期，Kafka source 如何把 partition offset 写入 checkpoint，以及 interval、timeout、min-pause、concurrent checkpoints 的调优边界。
【流式数据处理】Savepoint 与升级恢复：状态演化与兼容边界
对比 Savepoint 与 Checkpoint 的生命周期与格式取舍；讲清 operator uid、rescale、schema evolution 规则，cancel/stop with savepoint 流程，Flink 版本升级恢复，以及 key serializer 不兼容等故障的排查与 State Processor API 边界。
【流式数据处理】RocksDB State Backend 内核路径
拆解 Flink EmbeddedRocksDBStateBackend 的物理布局：每个 subtask 独立 RocksDB 实例、ColumnFamily 与 KeyGroup 前缀映射、写路径 memtable→WAL→flush→compaction 与 lsm-tree 系列对照、读路径 block cache 与读放大、增量 checkpoint 与全量 snapshot 的 IO 差异。
【流式数据处理】状态放大、Compaction 与调优
在 RocksDB state backend 读写路径之上，拆解窗口 state 膨胀、LSM 写放大与 checkpoint 争抢磁盘、Flink managed memory 与 RocksDBOptionsFactory 调参边界，以及 hot key 导致单 subtask 过热时的诊断与「改 state 设计 vs 拧参数」取舍。
【流式数据处理】流式入湖深化（与 Lakehouse 第 19 章对读）
从 Flink 作业侧拆解 checkpoint 间隔如何锁定 Iceberg 提交频率与小文件数量、背压如何拖慢 commit、并行 writer 如何触发 lakehouse/11 的乐观并发冲突，以及预聚合、bucket 分区与异步 compaction 和表治理的分工边界。
【流式数据处理】背压、故障模式与引擎对照
收束流式数据处理系列：Flink credit-based 背压如何沿算子链传播、Web UI 指标怎么读；数据倾斜、checkpoint 超时连锁、Kafka rebalance 风暴、RocksDB OOM、savepoint 不兼容五类生产故障的诊断与止血；Flink / Kafka Streams / Spark Structured Streaming / RisingWave 在状态模型、交付语义、运维与入湖成熟度上的对照表与选型决策树，不做排名。
【流式数据处理】Kafka · Flink · 状态 · Exactly-Once
承接数据湖流式入湖：从 Kafka 日志与副本语义，到 Flink 事件时间、watermark、窗口、RocksDB 状态与 checkpoint，再到端到端 exactly-once 与 Debezium CDC 入湖。面向数据平台与实时工程师，补全批式湖仓之外的实时计算层。
【RocksDB 内核机制】Checkpoint、Backup 与 External Ingest
拆解 Checkpoint 同盘硬链接快照、BackupEngine 增量备份目录布局、SstFileWriter 离线建表与 IngestExternalFile 的 sequence 分配及 write stall 边界——对接 Flink 增量 checkpoint 与 bulk load 运维路径。
【大模型基础设施工程】10：Checkpoint 与故障容忍
万卡集群训练每天都在断：从 GPU HBM ECC、NVLink 降级到 SDC，本篇系统讲 checkpoint、恢复与弹性容错的工程实践。
【MySQL InnoDB 内核】Redo Log 内部机制：LSN、mtr 与组提交
Redo log buffer、LSN、checkpoint、mtr 记录类型与 innodb_flush_log_at_trx_commit 语义。
【MySQL InnoDB 内核】崩溃恢复：redo apply 与 undo rollback
recv_recovery 两阶段、checkpoint LSN、未提交事务回滚与启动路径。
【PG 内核】WAL 内部机制：从事务提交到磁盘刷写
拆解 PostgreSQL WAL 的完整内部机制：XLogInsert() 从分段锁到 WAL Buffer 的插入路径、XLogRecord 的物理布局（Header + Block Headers + Data）、Checkpoint 的两阶段流程与 IO 摊平算法、REDO 恢复的 RMGR 分发、wal_level 三级差异的 WAL 记录对比。运维部分聚焦 checkpoint IO 风暴的根因与 checkpoint_completion_target 的调优陷阱、max_wal_size 设小导致 WAL 段疯狂切换的机制，以及用 pg_waldump 定位问题 WAL record 的实操方法。
WAL 与 ARIES 恢复算法
崩溃恢复是数据库最被低估的核心能力。