【数据湖与开放表格式】时间旅行、Schema 与分区演进
讲清 Iceberg 的 snapshot 过期、回滚与按时间/快照读如何工作；schema evolution 为何按 field ID 而非位置来增删改名重排；以及演进对老数据文件与老 reader 的兼容边界与陷阱，附 PyIceberg 真实实验验证字段映射与时间旅行。
time-travel 标签归档
共 2 篇文章 · 返回首页
【存储工程】数据湖存储格式：Delta Lake、Iceberg 与 Hudi
数据湖（Data Lake）的核心思想是把海量异构数据以开放格式存储在廉价的对象存储（Object Storage）上，用计算引擎按需查询。Apache Parquet 解决了列式编码（Columnar Encoding）问题，让分析查询的 I/O 效率提升了一个数量级。但 Parquet 只是一个文件格式，它不管事务…