stream-processing 实验复现
Kafka 3.x(KRaft) + Flink 1.20+。本机 WSL2 若未安装 Docker/JVM,脚本仅作文档化步骤,不伪造输出。
环境
cd post/stream-processing/reproduce
docker compose up -d # 启动 Kafka + Flink JobManager/TaskManager组件版本见 docker-compose.yml 注释。
脚本
| 脚本 | 对应篇 | 说明 |
|---|---|---|
run_exp02.sh |
02 | event-time vs processing-time 窗口(需 Flink 作业 JAR 或 Table SQL) |
run_exp04.sh |
04 | kafka-dump-log.sh 解读 segment |
run_exp06.sh |
06 | 事务 abort + read_committed consumer |
run_exp10.sh |
10 | checkpoint interval 对比(REST metrics) |
run_exp12.sh |
12 | HashMap vs RocksDB checkpoint 大小 |
run_exp15.sh |
15 | 杀 TM 后 EOS 计数(需唯一 id 源) |
输出
实测结果写入 output/(git
可选跟踪)。未执行时正文保持「环境限制」声明。
诚实性
- 每轮 benchmark ≥3 次取中位数
- 禁止粘贴未运行的 Web UI / consumer 输出