【流式数据处理】Debezium 与 Change Data Capture
从 Debezium 变更事件信封（op、before/after、source）入手，拆解 snapshot 与 streaming 两阶段、Kafka Connect 的 connector task 与 offset/schema history 主题，并说明引擎侧如何保证主键顺序与幂等，衔接 lakehouse 第 19 章 upsert 入湖。
kafka-connect 标签归档
共 2 篇文章 · 返回首页
【数据湖与开放表格式】流式写入与 CDC 入湖
拆解流式数据进入 Iceberg/Delta/Hudi 的入湖侧机制：Flink/Kafka Connect/Spark sink 如何提交、exactly-once 怎样把引擎 checkpoint 与表格式的原子提交对齐、CDC 如何借 equality delete 与 record index 做 upsert，以及高频提交与小文件、compaction 的拉扯。只讲入湖侧，流处理引擎本身的窗口与状态留给后续。