土法炼钢兴趣小组的算法知识备份

【数据湖与开放表格式】Iceberg 元数据树

2026-06-30 | database · storage | #iceberg #metadata #manifest #snapshot #manifest-list #table-format #scan-planning

拆解 Iceberg 的四层元数据：catalog 指针 → metadata.json → manifest list（snapshot）→ manifest file → data file。讲清 snapshot 与 manifest 里的分区数据和列级 stats（lower/upper bound、null/value count）如何让一次查询不 list 目录就收敛到文件集合，并给出表规范 V1/V2/V3 的版本边界。基于 pyiceberg 0.11.1 真实建表逐层 dump。