stream-processing 标签归档

共 5 篇文章 · 返回首页

数据库内核实验索引

2026-04-22 | db · storage | #database #lsm-tree #storage-engine #postgresql #mysql #innodb #clickhouse #columnar #lakehouse #iceberg #parquet #flink #kafka #stream-processing

汇总本站数据库内核文章：PostgreSQL / MySQL InnoDB / 列存引擎 / 数据湖与开放表格式 / 流式数据处理源码拆解，以及 LSM-Tree 从零实现实验。

【流式数据处理】流处理全景：从日志到有状态计算

2026-07-01 | database · distributed | #stream-processing #kafka #flink #lambda #kappa #event-log #stateful-compute #lakehouse #batch #micro-batch

从批、流、微批四维度对比出发，建立「可重放日志 + 有状态计算」心智模型，厘清 Lambda/Kappa 边界与流表对偶，并给出与 lakehouse 入湖侧对称的全系列地图。

【流式数据处理】背压、故障模式与引擎对照

2026-07-01 | database · distributed | #flink #backpressure #checkpoint #kafka #rocksdb #savepoint #kafka-streams #spark-structured-streaming #risingwave #stream-processing

收束流式数据处理系列：Flink credit-based 背压如何沿算子链传播、Web UI 指标怎么读；数据倾斜、checkpoint 超时连锁、Kafka rebalance 风暴、RocksDB OOM、savepoint 不兼容五类生产故障的诊断与止血；Flink / Kafka Streams / Spark Structured Streaming / RisingWave 在状态模型、交付语义、运维与入湖成熟度上的对照表与选型决策树，不做排名。

【流式数据处理】Kafka · Flink · 状态 · Exactly-Once

2026-07-01 | database · distributed | #kafka #flink #stream-processing #watermark #checkpoint #exactly-once #rocksdb #debezium #cdc #backpressure

承接数据湖流式入湖：从 Kafka 日志与副本语义，到 Flink 事件时间、watermark、窗口、RocksDB 状态与 checkpoint，再到端到端 exactly-once 与 Debezium CDC 入湖。面向数据平台与实时工程师，补全批式湖仓之外的实时计算层。

【系统架构设计】流处理架构：从批处理到实时的范式迁移

2026-04-13 | architecture | #stream-processing #Flink #Kafka-Streams #exactly-once #windowing #event-time

流处理的 exactly-once 语义在工程上到底有多难？窗口计算的语义陷阱是什么？本文深入 Flink 的 checkpoint 机制、事件时间与处理时间的工程影响，对比 Kafka Streams 与 Flink 的架构差异。