【流式数据处理】Checkpoint 机制：Barrier 对齐与一致性快照
从 Chandy-Lamport 分布式快照到 Flink aligned/unaligned checkpoint：CheckpointCoordinator 触发—ack—完成生命周期，Kafka source 如何把 partition offset 写入 checkpoint，以及 interval、timeout、min-pause、concurrent checkpoints 的调优边界。
backpressure 标签归档
共 7 篇文章 · 返回首页
【流式数据处理】流式入湖深化（与 Lakehouse 第 19 章对读）
从 Flink 作业侧拆解 checkpoint 间隔如何锁定 Iceberg 提交频率与小文件数量、背压如何拖慢 commit、并行 writer 如何触发 lakehouse/11 的乐观并发冲突，以及预聚合、bucket 分区与异步 compaction 和表治理的分工边界。
【流式数据处理】背压、故障模式与引擎对照
收束流式数据处理系列：Flink credit-based 背压如何沿算子链传播、Web UI 指标怎么读；数据倾斜、checkpoint 超时连锁、Kafka rebalance 风暴、RocksDB OOM、savepoint 不兼容五类生产故障的诊断与止血；Flink / Kafka Streams / Spark Structured Streaming / RisingWave 在状态模型、交付语义、运维与入湖成熟度上的对照表与选型决策树，不做排名。
【流式数据处理】Kafka · Flink · 状态 · Exactly-Once
承接数据湖流式入湖：从 Kafka 日志与副本语义，到 Flink 事件时间、watermark、窗口、RocksDB 状态与 checkpoint，再到端到端 exactly-once 与 Debezium CDC 入湖。面向数据平台与实时工程师，补全批式湖仓之外的实时计算层。
【可观测性工程】日志管道：Fluent Bit、Vector、Logstash、Cribl 的取舍
日志 Agent 与管道决定数据能否采得上来、送得到、不丢不炸。对比 Fluent Bit、Vector、Logstash、Cribl 的架构与可靠性，给出 K8s DaemonSet、背压处理与带假设的性能对比模型。
【Linux 网络子系统深度拆解】网络子系统内存管理：sk_buff 分配、page pool 与 NUMA
从内核源码拆解网络子系统的内存管理全貌：sk_buff 分配路径与 slab 缓存、page_pool 页面回收机制、NUMA 感知分配策略、socket 内存记账与反压，以及 bpftrace 可观测实战。
滑动窗口与流控的算法本质
滑动窗口不只是一道 LeetCode 题型，它是网络协议、流控、限流的通用模式。