土法炼钢兴趣小组的算法知识备份

stream-processing 实验复现

源码下载

本文相关源码已整理,共 7 个文件。

打开下载目录 →

目录

stream-processing 实验复现

Kafka 3.x(KRaft) + Flink 1.20+。本机 WSL2 若未安装 Docker/JVM,脚本仅作文档化步骤,不伪造输出

环境

cd post/stream-processing/reproduce
docker compose up -d   # 启动 Kafka + Flink JobManager/TaskManager

组件版本见 docker-compose.yml 注释。

脚本

脚本 对应篇 说明
run_exp02.sh 02 event-time vs processing-time 窗口(需 Flink 作业 JAR 或 Table SQL)
run_exp04.sh 04 kafka-dump-log.sh 解读 segment
run_exp06.sh 06 事务 abort + read_committed consumer
run_exp10.sh 10 checkpoint interval 对比(REST metrics)
run_exp12.sh 12 HashMap vs RocksDB checkpoint 大小
run_exp15.sh 15 杀 TM 后 EOS 计数(需唯一 id 源)

输出

实测结果写入 output/(git 可选跟踪)。未执行时正文保持「环境限制」声明。

诚实性


By .