数据库内核实验索引
汇总本站数据库内核文章：PostgreSQL / MySQL InnoDB / 列存引擎 / 数据湖与开放表格式 / 流式数据处理 / 分布式 OLAP 查询引擎 / RocksDB 内核 / 向量检索引擎，以及 LSM-Tree 从零实现实验。
flink 标签归档
共 24 篇文章 · 返回首页
【RocksDB 内核机制】生产嵌入对照：Flink · TiKV · Kafka Streams
从 RocksDB 内核侧补全 Flink KeyGroup 前缀与增量 checkpoint SST 上传机制，对照 TiKV Region 引擎与 Kafka Streams changelog 容错；不重复 stream/12 作业侧全文，给出 Docker 复现步骤而不伪造 checkpoint 指标。
【流式数据处理】流处理全景：从日志到有状态计算
从批、流、微批四维度对比出发，建立「可重放日志 + 有状态计算」心智模型，厘清 Lambda/Kappa 边界与流表对偶，并给出与 lakehouse 入湖侧对称的全系列地图。
【流式数据处理】事件时间、处理时间与 Watermark
拆解 event time、processing time、ingestion time 三种时间语义，给出 watermark 的形式化含义与 bounded-out-of-orderness 等生成策略，并说明侧输出、allowed lateness 如何处理迟到数据；附 event-time 与 processing-time 窗口对比的可复现实验步骤。
【流式数据处理】窗口：滚动、滑动与会话
从 WindowAssigner 三类（Tumbling、Sliding、Session）出发，讲清窗口 state 如何随 key 与窗口实例增长，Trigger 与 Evictor 如何改变 firing 与清理节奏，GlobalWindow 自定义 Trigger 的边界，并与批式 GROUP BY 时间分桶对照；附三种窗口 state 观测的可复现步骤。
【流式数据处理】Flink 运行时模型
从 JobManager、TaskManager、Slot 到 StreamGraph→JobGraph→ExecutionGraph 的四层编译链，讲清 operator chain、并行度、SlotSharingGroup 如何决定任务在集群上的物理形态，并与 Kafka 消费位点提交分工衔接。
【流式数据处理】DataStream 与算子语义
拆解 Source/Transform/Sink 数据流图、rebalance/keyBy/broadcast 等 shuffle 策略、keyBy 到 KeyGroup 的映射，以及 ProcessFunction 与 TimerService 如何承载事件时间逻辑，并引入算子状态与键控状态的分工边界。
【流式数据处理】键控状态与 State TTL
系统拆解 ValueState、ListState、MapState、ReducingState、AggregatingState 的语义与适用场景，对比 HashMapStateBackend 与 EmbeddedRocksDBStateBackend 选型，讲清 State TTL 的更新/可见性/清理策略，并给出窗口 state 与 RocksDB 磁盘占用的估算方法。
【流式数据处理】Checkpoint 机制：Barrier 对齐与一致性快照
从 Chandy-Lamport 分布式快照到 Flink aligned/unaligned checkpoint：CheckpointCoordinator 触发—ack—完成生命周期，Kafka source 如何把 partition offset 写入 checkpoint，以及 interval、timeout、min-pause、concurrent checkpoints 的调优边界。
【流式数据处理】Savepoint 与升级恢复：状态演化与兼容边界
对比 Savepoint 与 Checkpoint 的生命周期与格式取舍；讲清 operator uid、rescale、schema evolution 规则，cancel/stop with savepoint 流程，Flink 版本升级恢复，以及 key serializer 不兼容等故障的排查与 State Processor API 边界。
【流式数据处理】RocksDB State Backend 内核路径
拆解 Flink EmbeddedRocksDBStateBackend 的物理布局：每个 subtask 独立 RocksDB 实例、ColumnFamily 与 KeyGroup 前缀映射、写路径 memtable→WAL→flush→compaction 与 lsm-tree 系列对照、读路径 block cache 与读放大、增量 checkpoint 与全量 snapshot 的 IO 差异。
【流式数据处理】状态放大、Compaction 与调优
在 RocksDB state backend 读写路径之上，拆解窗口 state 膨胀、LSM 写放大与 checkpoint 争抢磁盘、Flink managed memory 与 RocksDBOptionsFactory 调参边界，以及 hot key 导致单 subtask 过热时的诊断与「改 state 设计 vs 拧参数」取舍。
【流式数据处理】交付语义：从 at-most-once 到 exactly-once
用 Source、引擎、Sink 三层模型拆解 at-most-once、at-least-once、exactly-once 的组合规则与最弱环决定律；对照 Flink checkpoint 模式、Kafka 事务与幂等 producer、重复消费/重复写入的三类修复手段，为两阶段提交 sink 铺垫。
【流式数据处理】两阶段提交与端到端 Exactly-Once
拆解 Flink GenericTwoPhaseCommitSink 协议：preCommit 进 checkpoint、commit 挂 notifyCheckpointComplete；对照 Kafka 事务 sink、JDBC 与 Iceberg 2PC 落点，以及 commit 前/后崩溃与重复 commit 的幂等边界——与 lakehouse/11 CAS、lakehouse/19 入湖侧对读，不重复表格式全文。
【流式数据处理】流式入湖深化（与 Lakehouse 第 19 章对读）
从 Flink 作业侧拆解 checkpoint 间隔如何锁定 Iceberg 提交频率与小文件数量、背压如何拖慢 commit、并行 writer 如何触发 lakehouse/11 的乐观并发冲突，以及预聚合、bucket 分区与异步 compaction 和表治理的分工边界。
【流式数据处理】背压、故障模式与引擎对照
收束流式数据处理系列：Flink credit-based 背压如何沿算子链传播、Web UI 指标怎么读；数据倾斜、checkpoint 超时连锁、Kafka rebalance 风暴、RocksDB OOM、savepoint 不兼容五类生产故障的诊断与止血；Flink / Kafka Streams / Spark Structured Streaming / RisingWave 在状态模型、交付语义、运维与入湖成熟度上的对照表与选型决策树，不做排名。
【流式数据处理】Kafka · Flink · 状态 · Exactly-Once
承接数据湖流式入湖：从 Kafka 日志与副本语义，到 Flink 事件时间、watermark、窗口、RocksDB 状态与 checkpoint，再到端到端 exactly-once 与 Debezium CDC 入湖。面向数据平台与实时工程师，补全批式湖仓之外的实时计算层。
【RocksDB 内核机制】Column Family：共享 WAL 与独立 LSM
从 RocksDB 3.0 引入的 Column Family 出发，拆解共享 WAL、独立 MemTable/SST/Version 链、`ColumnFamilyHandle` 生命周期与 DBOptions/ColumnFamilyOptions 分层；并对照 Flink 多 state 变量到 CF 的映射边界。
【RocksDB 内核机制】Checkpoint、Backup 与 External Ingest
拆解 Checkpoint 同盘硬链接快照、BackupEngine 增量备份目录布局、SstFileWriter 离线建表与 IngestExternalFile 的 sequence 分配及 write stall 边界——对接 Flink 增量 checkpoint 与 bulk load 运维路径。
【RocksDB 内核机制】LevelDB · WAL · Compaction · Column Family · 生产嵌入
补全存储引擎三角最后一角：从 LevelDB 基线与 RocksDB 架构演进，到 WAL/MemTable/SST 写路径、Get/Iterator 读路径、Leveled/Universal compaction 与 write stall，再到 Column Family、事务、Checkpoint 与 Flink/TiKV 嵌入对照。
【RocksDB 内核机制】LSM 生态全景：存储引擎三角与 RocksDB 生态位
闭合存储引擎三角的最后一角：对照 PG B-Tree 与列存 scan，定位 LSM 写优化引擎在 TiKV、Flink、Kafka Streams、ClickHouse Embedded 中的嵌入方式，并划分本系列与 lsm-tree DIY、storage/31–32、stream/12 的分工边界。
【数据湖与开放表格式】流式写入与 CDC 入湖
拆解流式数据进入 Iceberg/Delta/Hudi 的入湖侧机制：Flink/Kafka Connect/Spark sink 如何提交、exactly-once 怎样把引擎 checkpoint 与表格式的原子提交对齐、CDC 如何借 equality delete 与 record index 做 upsert，以及高频提交与小文件、compaction 的拉扯。只讲入湖侧，流处理引擎本身的窗口与状态留给后续。
【金融科技工程】对账系统工程：账单、总账、资金对账、差错处理
从金融本质、分层架构到文件格式、匹配算法、差错处理与调账流程，系统讲解对账系统的工程落地，包含 Python/Go 示例、Mermaid 状态机与大型平台十亿级对账方案。
【金融科技工程】十九：实时风控引擎——规则、特征、模型、决策流与 Flink/Spark
系统拆解支付与交易场景下的实时风控引擎：三层防线、规则引擎（Drools/Aviator/CEL）、特征平台、画像、图风控、ML 打分、决策编排与 Champion-Challenger，辅以 Go 代码与分层架构 SVG。