土法炼钢兴趣小组的算法知识备份

【存储工程】数据湖存储格式：Delta Lake、Iceberg 与 Hudi

2025-09-18 | storage | #data-lake #delta-lake #iceberg #hudi #acid #time-travel #schema-evolution

数据湖（Data Lake）的核心思想是把海量异构数据以开放格式存储在廉价的对象存储（Object Storage）上，用计算引擎按需查询。Apache Parquet 解决了列式编码（Columnar Encoding）问题，让分析查询的 I/O 效率提升了一个数量级。但 Parquet 只是一个文件格式，它不管事务…