土法炼钢兴趣小组的算法知识备份

【流式数据处理】两阶段提交与端到端 Exactly-Once

2026-07-01 | database · distributed | #flink #two-phase-commit #exactly-once #kafka-transactions #iceberg-sink #GenericTwoPhaseCommitSink #checkpoint #notifyCheckpointComplete

拆解 Flink GenericTwoPhaseCommitSink 协议：preCommit 进 checkpoint、commit 挂 notifyCheckpointComplete；对照 Kafka 事务 sink、JDBC 与 Iceberg 2PC 落点，以及 commit 前/后崩溃与重复 commit 的幂等边界——与 lakehouse/11 CAS、lakehouse/19 入湖侧对读，不重复表格式全文。