数据库内核实验索引
汇总本站数据库内核文章：PostgreSQL / MySQL InnoDB / 列存引擎 / 数据湖与开放表格式 / 流式数据处理 / 分布式 OLAP 查询引擎 / RocksDB 内核 / 向量检索引擎 / Redis 缓存内核，以及 LSM-Tree 从零实现实验。
kafka 标签归档
共 10 篇文章 · 返回首页
【流式数据处理】流处理全景：从日志到有状态计算
从批、流、微批四维度对比出发，建立「可重放日志 + 有状态计算」心智模型，厘清 Lambda/Kappa 边界与流表对偶，并给出与 lakehouse 入湖侧对称的全系列地图。
【流式数据处理】Kafka 日志模型与分区
从 Topic、Partition 到 Log Segment 的 .log/.index/.timeindex 文件布局，讲清 offset 单调性、分区内有序、顺序写与 sendfile 读路径，以及 Kafka 3.x KRaft 模式下元数据与日志目录的分工，为副本与 consumer 语义打底。
【流式数据处理】副本、ISR 与 Consumer Group
从 Leader/Follower 复制、HW/LEO/ISR 到 acks 与 min.insync.replicas 的 durability 边界，再到 consumer group 分区分配、rebalance 代价，以及 offset 提交与 Flink checkpoint 的分工。
【流式数据处理】Kafka 事务与幂等 Producer
从幂等 producer 的 PID 与 sequence 去重，到事务 producer 的 init/begin/commit/abort 生命周期、__transaction_state 与 read_committed 隔离，讲清 Kafka 3.x 单集群 EOS 边界及其与 Flink checkpoint 的衔接。
【流式数据处理】Checkpoint 机制：Barrier 对齐与一致性快照
从 Chandy-Lamport 分布式快照到 Flink aligned/unaligned checkpoint：CheckpointCoordinator 触发—ack—完成生命周期，Kafka source 如何把 partition offset 写入 checkpoint，以及 interval、timeout、min-pause、concurrent checkpoints 的调优边界。
【流式数据处理】交付语义：从 at-most-once 到 exactly-once
用 Source、引擎、Sink 三层模型拆解 at-most-once、at-least-once、exactly-once 的组合规则与最弱环决定律；对照 Flink checkpoint 模式、Kafka 事务与幂等 producer、重复消费/重复写入的三类修复手段，为两阶段提交 sink 铺垫。
【流式数据处理】背压、故障模式与引擎对照
收束流式数据处理系列：Flink credit-based 背压如何沿算子链传播、Web UI 指标怎么读；数据倾斜、checkpoint 超时连锁、Kafka rebalance 风暴、RocksDB OOM、savepoint 不兼容五类生产故障的诊断与止血；Flink / Kafka Streams / Spark Structured Streaming / RisingWave 在状态模型、交付语义、运维与入湖成熟度上的对照表与选型决策树，不做排名。
【流式数据处理】Kafka · Flink · 状态 · Exactly-Once
承接数据湖流式入湖：从 Kafka 日志与副本语义，到 Flink 事件时间、watermark、窗口、RocksDB 状态与 checkpoint，再到端到端 exactly-once 与 Debezium CDC 入湖。面向数据平台与实时工程师，补全批式湖仓之外的实时计算层。
定时器算法：时间轮、最小堆与层级时间轮
一台繁忙的 Nginx 服务器上有 100 万个活跃连接，每个连接都有 keepalive 超时定时器。如果用最小堆管理这些定时器，每次新连接到来都要 O(log n) 插入——100 万个定时器意味着 20 次比较。时间轮用 O(1) 解决了这个问题。