数据库内核实验索引
汇总本站数据库内核文章：PostgreSQL / MySQL InnoDB / 列存引擎 / 数据湖与开放表格式 / 流式数据处理 / 分布式 OLAP 查询引擎 / RocksDB 内核，以及 LSM-Tree 从零实现实验。
iceberg 标签归档
共 22 篇文章 · 返回首页
【分布式 OLAP 查询引擎】统计信息与代价模型
Table/column 统计、NDV 与 histogram、Iceberg Puffin/manifest 统计来源；Trino CostCalculator 与 CPU/IO/network 权重；统计过期导致全表扫与 join 中间结果膨胀；对照 PostgreSQL pg_statistic。
【分布式 OLAP 查询引擎】Scan、Filter 与 Project：Split 与下推边界
从 Trino TableScanOperator 与 ConnectorSplit 出发，讲 column pruning、谓词/limit 下推在 ConnectorMetadata 的落点，以及必须留在引擎内的 Filter/Project 边界；与 lakehouse/18 读湖漏斗衔接。
【分布式 OLAP 查询引擎】Trino 查询路径：从 SqlQueryExecution 到 Page 流
主线拆解 Trino Coordinator 上 SqlQueryExecution 的生命周期：analyze、plan、fragment、Stage 调度到 Worker Task；Iceberg connector 如何从 snapshot/manifest 过滤生成 Split；Page 在 Operator 链上流动；EXPLAIN 与 EXPLAIN ANALYZE 字段判读。
【分布式 OLAP 查询引擎】Spark SQL 与 Catalyst：逻辑/物理计划与 AQE
拆解 Spark 3.5+ Catalyst 的 Analyzed / Optimized / Physical 计划链、whole-stage codegen 与 shuffle 边界、AQE 的动态 coalesce/skew join/broadcast；并与 Trino 476 及 Iceberg V2 reader 下推能力对照。
【分布式 OLAP 查询引擎】DuckDB 与 DataFusion：嵌入式分析对照
从单进程向量化 pipeline 与 morsel-driven 并行出发，对照 DuckDB 1.5.4 与 Apache DataFusion 的 planner/executor 边界；说明何时选嵌入式读湖、何时必须上 Trino MPP；与 columnar-engine DuckDB 存储篇分工，并用本机实测 EXPLAIN 与 Parquet 投影下推数据锚定结论。
【分布式 OLAP 查询引擎】Iceberg 下推全链路：Planner 视角
与 lakehouse/18 分工：那边讲四层读湖漏斗是什么；本篇讲 Trino/Spark/DuckDB 在 SQL 优化链的哪一步把谓词变成 layout constraint、谁调用 Iceberg planning、split 如何携带残余谓词。引用官方文档与 lakehouse/18 本机 PyIceberg 实测，不伪造 Trino 计划输出。
【分布式 OLAP 查询引擎】Trino · Spark · DuckDB · 优化与 MPP 执行
闭合数据平台栈最后一块：从 SQL 解析与 Calcite 式优化，到 Volcano/向量化执行、Trino Coordinator/Worker 与 shuffle，再到 Iceberg connector 下推与生产排查。承接 lakehouse 第 18 章读湖视角，补全「谁在做 planning」的引擎内核层。
【流式数据处理】流式入湖深化（与 Lakehouse 第 19 章对读）
从 Flink 作业侧拆解 checkpoint 间隔如何锁定 Iceberg 提交频率与小文件数量、背压如何拖慢 commit、并行 writer 如何触发 lakehouse/11 的乐观并发冲突，以及预聚合、bucket 分区与异步 compaction 和表治理的分工边界。
【数据湖与开放表格式】Lakehouse 全景：从 Hive 表到开放表格式
Hive 目录式分区表把『表』等同于『一组目录加 metastore 里的分区行』，于是没有原子提交、planning 要 LIST 目录、schema 与分区演进常要重写。本文用这三个硬伤切入，讲清 lakehouse 把表拆成『不可变数据文件 + 可变元数据指针 + catalog』三层后各自解决了什么，并给出全系列的分层地图。
【数据湖与开放表格式】表格式为什么存在
目录式分区表（Hive 表）在对象存储上有三处硬伤：并发写部分提交、list planning 太贵、缺快照隔离与原子提交。本文拆开放表格式补上的四件事——原子提交、快照隔离、文件级统计裁剪、schema 与分区演进，并抽象出三家共有的『元数据指针 + 不可变数据文件』骨架。
【数据湖与开放表格式】Iceberg 元数据树
拆解 Iceberg 的四层元数据：catalog 指针 → metadata.json → manifest list（snapshot）→ manifest file → data file。讲清 snapshot 与 manifest 里的分区数据和列级 stats（lower/upper bound、null/value count）如何让一次查询不 list 目录就收敛到文件集合，并给出表规范 V1/V2/V3 的版本边界。基于 pyiceberg 0.11.1 真实建表逐层 dump。
【数据湖与开放表格式】隐藏分区与分区演进
拆解 Iceberg 的 partition spec 与 transform（identity/bucket[N]/truncate[W]/year/month/day/hour/void）：隐藏分区如何让查询不写分区列谓词也能裁剪，分区演进为何不重写历史数据（文件携带所属 spec），以及与 Hive 静/动态分区的本质差异。基于 pyiceberg 0.11.1 真实演进 spec 并观察新旧文件。
【数据湖与开放表格式】行级删除与 Merge-on-Read
Iceberg 在不可变文件上做行级删除的两条路线：copy-on-write（重写整文件）与 merge-on-read（写 delete 文件，读时合并）。讲清 position delete 与 equality delete 的语义、字段与作用域规则，写放大/读放大的取舍，V2 delete file 到 V3 deletion vector（Puffin 承载）的差异与迁移，以及读路径如何把 data file 与 delete 合并出可见行。基于 pyiceberg 0.11.1 实测 CoW 写放大并观察 MoR 回退。
【数据湖与开放表格式】提交协议与并发控制
没有数据库进程，Iceberg 怎么在对象存储上做原子提交与并发控制？拆解提交=catalog 对元数据指针做 compare-and-swap，乐观并发如何基于当前 snapshot 生成新 snapshot、冲突按操作类型与隔离级别重试，不同 catalog 的原子性来源（DB 行锁/CAS、REST 后端、对象存储条件写、文件系统 rename），以及 REST Catalog 的 requirements+updates 提交语义。基于 pyiceberg 0.11.1 实测并发冲突与重试。
【数据湖与开放表格式】Iceberg、Delta、Hudi 对照与互通
把前面 08–13 章拆过的 Iceberg、Delta、Hudi 放在一个坐标系里对照：元数据模型、行级更新、并发控制、引擎生态四维，每维标清口径。再讲两条互通路线——Delta UniForm（写时同步生成 Iceberg/Hudi 元数据）与 Apache XTable（事后转换元数据），以及它们的边界。最后给一棵按写入模式/引擎栈/更新频率展开的选型决策树，不做排名。
【数据湖与开放表格式】选型、迁移与运维
把前面 19 篇的机制落到工程决策：从 Hive 表迁移到 Iceberg 的三条路径与风险、湖仓 benchmark 的口径陷阱、生产里最常见的故障模式（孤儿文件、元数据膨胀、提交冲突风暴、快照过期误删、catalog 单点），以及一份可执行的运维清单。
【数据湖与开放表格式】湖上 AI 与向量
湖仓如何承接 AI 负载：embedding/特征/训练样本存湖、按 snapshot 固定数据版本做可复现训练，以及 Parquet 在随机访问和向量检索上的短板。用本机实测对比 Lance 与 Parquet 的顺序扫描与按行随机 take，讲清 Lance 为何为随机访问与向量而生，并划清湖侧存储与专用向量引擎的边界。
【数据湖与开放表格式】Parquet · Iceberg · Delta · Hudi 内核拆解
拆解 lakehouse 的两层基础：列式文件格式（Parquet/ORC/Arrow）与开放表格式（Iceberg/Delta/Hudi）。讲清没有数据库进程时，如何在对象存储上做 ACID、行级更新、快照与并发，以及 catalog、查询引擎、流式入湖如何拼成可运维的湖仓。面向数据平台工程师与从 OLAP/数仓转型的开发者。
【量化交易】订单类型与执行语义：限价、市价、IOC、FOK、冰山
把 Limit、Market、IOC、FOK、Iceberg、Stop、MOO/MOC 这些常被混为一谈的订单类型还原为价格、数量、时效、可见性、触发五个独立维度，并对照 A 股、港股、美股、CME、Binance 五个市场的实际语义差异，给出量化系统中的订单工厂、状态机与风控前置校验的工程实现。
【数据库研究前沿】Iceberg vs Hudi vs Delta：湖仓表格式的事务边界与选型
把 Apache Iceberg、Apache Hudi、Delta Lake 放在同一张表上比较：metadata layout、snapshot isolation、多写者 OCC 协议、schema 与 partition evolution，最后给出 iceberg vs hudi 选型矩阵与对象存储上的事务边界。
【存储工程】数据湖存储格式：Delta Lake、Iceberg 与 Hudi
数据湖（Data Lake）的核心思想是把海量异构数据以开放格式存储在廉价的对象存储（Object Storage）上，用计算引擎按需查询。Apache Parquet 解决了列式编码（Columnar Encoding）问题，让分析查询的 I/O 效率提升了一个数量级。但 Parquet 只是一个文件格式，它不管事务…