数据库内核实验索引
汇总本站数据库内核文章：PostgreSQL / MySQL InnoDB / 列存引擎 / 数据湖与开放表格式 / 流式数据处理 / 分布式 OLAP 查询引擎 / RocksDB 内核 / 向量检索引擎，以及 LSM-Tree 从零实现实验。
lakehouse 标签归档
共 12 篇文章 · 返回首页
【向量检索引擎】Lance / LanceDB 对照：格式还是服务
承接 lakehouse/21 的 Lance vs Parquet 实测口径，划清湖原生向量格式与 Milvus 专用引擎的边界：随机 take、ANN 随数据集管理、版本化，以及何时不必上向量集群。
【流式数据处理】流处理全景：从日志到有状态计算
从批、流、微批四维度对比出发，建立「可重放日志 + 有状态计算」心智模型，厘清 Lambda/Kappa 边界与流表对偶，并给出与 lakehouse 入湖侧对称的全系列地图。
【RocksDB 内核机制】选型与存储栈阅读地图
用决策树收束 RocksDB 与 InnoDB、列存、湖仓的适用边界；给出存储引擎三角 + 数据平台全栈阅读地图，对接 query-engine/18 与 postgresql-kernel，并标注 HTAP/TiKV 续作入口。
【分布式 OLAP 查询引擎】OLAP 查询引擎全景：从单进程到 MPP
从 OLTP/OLAP/HTAP 边界、嵌入式 DuckDB 与分布式 Trino/Spark 分工、批式扫描与交互式查询延迟口径出发，闭合 lakehouse 与 stream-processing 之间的查询层缺口，并给出本系列 18 篇地图。
【分布式 OLAP 查询引擎】引擎选型与数据平台阅读地图
用决策树收束 Trino/Spark/ClickHouse/DuckDB/DataFusion/PostgreSQL 的适用边界：交互式联邦、批 ETL、嵌入式分析、流批一体各走哪条路径；给出能力对照表（无吞吐排名）与 postgresql→columnar→lakehouse→stream→query-engine 全栈阅读顺序，闭合数据平台栈。
【数据湖与开放表格式】Lakehouse 全景：从 Hive 表到开放表格式
Hive 目录式分区表把『表』等同于『一组目录加 metastore 里的分区行』，于是没有原子提交、planning 要 LIST 目录、schema 与分区演进常要重写。本文用这三个硬伤切入，讲清 lakehouse 把表拆成『不可变数据文件 + 可变元数据指针 + catalog』三层后各自解决了什么，并给出全系列的分层地图。
【数据湖与开放表格式】对象存储语义与代价
对象存储不是网络版 POSIX 文件系统。本文用 S3 官方语义钉住四件事：强一致模型的边界、LIST 随对象数线性增长的代价、没有原子 rename（只能 copy+delete）、条件写（If-None-Match/If-Match）对提交协议的意义，并讲清 multipart 与对象不可改写。
【数据湖与开放表格式】表格式为什么存在
目录式分区表（Hive 表）在对象存储上有三处硬伤：并发写部分提交、list planning 太贵、缺快照隔离与原子提交。本文拆开放表格式补上的四件事——原子提交、快照隔离、文件级统计裁剪、schema 与分区演进，并抽象出三家共有的『元数据指针 + 不可变数据文件』骨架。
【数据湖与开放表格式】Parquet · Iceberg · Delta · Hudi 内核拆解
拆解 lakehouse 的两层基础：列式文件格式（Parquet/ORC/Arrow）与开放表格式（Iceberg/Delta/Hudi）。讲清没有数据库进程时，如何在对象存储上做 ACID、行级更新、快照与并发，以及 catalog、查询引擎、流式入湖如何拼成可运维的湖仓。面向数据平台工程师与从 OLAP/数仓转型的开发者。
【数据库研究前沿】HTAP 新范式：从 TiDB、SingleStore 到 Lakehouse 一体化
从工作负载隔离到行列双维护，系统梳理 TiDB + TiFlash、SingleStore Universal Storage、F1 Lightning 与 Lakehouse 的设计取舍、新鲜度边界与 HTAP 基准测试方法
【数据库研究前沿】Iceberg vs Hudi vs Delta：湖仓表格式的事务边界与选型
把 Apache Iceberg、Apache Hudi、Delta Lake 放在同一张表上比较：metadata layout、snapshot isolation、多写者 OCC 协议、schema 与 partition evolution，最后给出 iceberg vs hudi 选型矩阵与对象存储上的事务边界。