土法炼钢兴趣小组的算法知识备份

【数据湖与开放表格式】隐藏分区与分区演进

2026-06-30 | database · storage | #iceberg #hidden-partitioning #partition-evolution #transform #bucket #partition-spec #table-format

拆解 Iceberg 的 partition spec 与 transform（identity/bucket[N]/truncate[W]/year/month/day/hour/void）：隐藏分区如何让查询不写分区列谓词也能裁剪，分区演进为何不重写历史数据（文件携带所属 spec），以及与 Hive 静/动态分区的本质差异。基于 pyiceberg 0.11.1 真实演进 spec 并观察新旧文件。