【数据湖与开放表格式】表格式为什么存在
目录式分区表（Hive 表）在对象存储上有三处硬伤：并发写部分提交、list planning 太贵、缺快照隔离与原子提交。本文拆开放表格式补上的四件事——原子提交、快照隔离、文件级统计裁剪、schema 与分区演进，并抽象出三家共有的『元数据指针 + 不可变数据文件』骨架。
delta-lake 标签归档
共 6 篇文章 · 返回首页
【数据湖与开放表格式】Delta Lake 事务日志
拆解 Delta Lake 的 _delta_log：有序 JSON commit 里的 add/remove/metaData/protocol/commitInfo/txn 七类 action、每 N 次 parquet checkpoint 与 _last_checkpoint、protocol 版本与 reader/writer table features、deletion vector（Delta 的 merge-on-read）、liquid clustering 与 Z-order，以及乐观并发如何完全基于日志做冲突检测。
【数据湖与开放表格式】Iceberg、Delta、Hudi 对照与互通
把前面 08–13 章拆过的 Iceberg、Delta、Hudi 放在一个坐标系里对照：元数据模型、行级更新、并发控制、引擎生态四维，每维标清口径。再讲两条互通路线——Delta UniForm（写时同步生成 Iceberg/Hudi 元数据）与 Apache XTable（事后转换元数据），以及它们的边界。最后给一棵按写入模式/引擎栈/更新频率展开的选型决策树，不做排名。
【数据湖与开放表格式】Parquet · Iceberg · Delta · Hudi 内核拆解
拆解 lakehouse 的两层基础：列式文件格式（Parquet/ORC/Arrow）与开放表格式（Iceberg/Delta/Hudi）。讲清没有数据库进程时，如何在对象存储上做 ACID、行级更新、快照与并发，以及 catalog、查询引擎、流式入湖如何拼成可运维的湖仓。面向数据平台工程师与从 OLAP/数仓转型的开发者。
【数据库研究前沿】Iceberg vs Hudi vs Delta：湖仓表格式的事务边界与选型
把 Apache Iceberg、Apache Hudi、Delta Lake 放在同一张表上比较：metadata layout、snapshot isolation、多写者 OCC 协议、schema 与 partition evolution，最后给出 iceberg vs hudi 选型矩阵与对象存储上的事务边界。
【存储工程】数据湖存储格式：Delta Lake、Iceberg 与 Hudi
数据湖（Data Lake）的核心思想是把海量异构数据以开放格式存储在廉价的对象存储（Object Storage）上，用计算引擎按需查询。Apache Parquet 解决了列式编码（Columnar Encoding）问题，让分析查询的 I/O 效率提升了一个数量级。但 Parquet 只是一个文件格式，它不管事务…