水塘抽样：Algorithm R/L/Z、加权键与样本合并
水塘抽样要保证的是每个 k 子集等概率。本文严格证明 Algorithm R，从随机键推出 Li 的 Algorithm L，用卡方检验与随机数计数对比 R、L 与 Vitter Z，核对 PostgreSQL 17 与 Spark 3.5 源码，并讨论加权键、样本合并与滑动窗口。
spark 标签归档
共 9 篇文章 · 返回首页
【分布式 OLAP 查询引擎】OLAP 查询引擎全景：从单进程到 MPP
从 OLTP/OLAP/HTAP 边界、嵌入式 DuckDB 与分布式 Trino/Spark 分工、批式扫描与交互式查询延迟口径出发，闭合 lakehouse 与 stream-processing 之间的查询层缺口，并给出本系列 18 篇地图。
【分布式 OLAP 查询引擎】Coordinator 与 Worker：Query / Stage / Task / Driver
拆解 Trino Coordinator 与 Worker 的职责边界，从 Query 到 Stage、Task、Driver、Operator 的五层执行模型，Split 调度与 data locality，并与 Spark Driver/Executor/Stage 对照。
【分布式 OLAP 查询引擎】Spark SQL 与 Catalyst：逻辑/物理计划与 AQE
拆解 Spark 3.5+ Catalyst 的 Analyzed / Optimized / Physical 计划链、whole-stage codegen 与 shuffle 边界、AQE 的动态 coalesce/skew join/broadcast；并与 Trino 476 及 Iceberg V2 reader 下推能力对照。
【分布式 OLAP 查询引擎】Iceberg 下推全链路：Planner 视角
与 lakehouse/18 分工：那边讲四层读湖漏斗是什么；本篇讲 Trino/Spark/DuckDB 在 SQL 优化链的哪一步把谓词变成 layout constraint、谁调用 Iceberg planning、split 如何携带残余谓词。引用官方文档与 lakehouse/18 本机 PyIceberg 实测，不伪造 Trino 计划输出。
【分布式 OLAP 查询引擎】引擎选型与数据平台阅读地图
用决策树收束 Trino/Spark/ClickHouse/DuckDB/DataFusion/PostgreSQL 的适用边界：交互式联邦、批 ETL、嵌入式分析、流批一体各走哪条路径；给出能力对照表（无吞吐排名）与 postgresql→columnar→lakehouse→stream→query-engine 全栈阅读顺序，闭合数据平台栈。
【分布式 OLAP 查询引擎】Trino · Spark · DuckDB · 优化与 MPP 执行
闭合数据平台栈最后一块：从 SQL 解析与 Calcite 式优化，到 Volcano/向量化执行、Trino Coordinator/Worker 与 shuffle，再到 Iceberg connector 下推与生产排查。承接 lakehouse 第 18 章读湖视角，补全「谁在做 planning」的引擎内核层。
【数据湖与开放表格式】查询引擎如何读湖
拆解查询引擎读 Iceberg/Delta 的下推链路：partition pruning（manifest）→ file pruning（manifest stats）→ row-group/page pruning（Parquet column index）→ 字典过滤。对照 Trino/Spark/DuckDB/DataFusion/ClickHouse 的能力差异，讲清 planning 在哪一层完成、stats 从哪来，并用本机 pyiceberg + DuckDB 实测裁剪效果。
【金融科技工程】对账系统工程：账单、总账、资金对账、差错处理
从金融本质、分层架构到文件格式、匹配算法、差错处理与调账流程，系统讲解对账系统的工程落地，包含 Python/Go 示例、Mermaid 状态机与大型平台十亿级对账方案。