【分布式 OLAP 查询引擎】统计信息与代价模型
Table/column 统计、NDV 与 histogram、Iceberg Puffin/manifest 统计来源；Trino CostCalculator 与 CPU/IO/network 权重；统计过期导致全表扫与 join 中间结果膨胀；对照 PostgreSQL pg_statistic。
puffin 标签归档
共 3 篇文章 · 返回首页
【数据湖与开放表格式】行级删除与 Merge-on-Read
Iceberg 在不可变文件上做行级删除的两条路线：copy-on-write（重写整文件）与 merge-on-read（写 delete 文件，读时合并）。讲清 position delete 与 equality delete 的语义、字段与作用域规则，写放大/读放大的取舍，V2 delete file 到 V3 deletion vector（Puffin 承载）的差异与迁移，以及读路径如何把 data file 与 delete 合并出可见行。基于 pyiceberg 0.11.1 实测 CoW 写放大并观察 MoR 回退。
【数据湖与开放表格式】小文件与 Compaction
拆解 lakehouse 小文件的根因（频繁提交、流式、过细分区），以及 bin-pack、sort/z-order/clustering、rewrite manifests、expire snapshots、remove orphan files 这套治理操作；讲清 Puffin 中 Theta NDV sketch 对查询 planning 的作用，附 PyIceberg 真实实验对比 compaction 前后文件数与 planning 耗时。