数据库内核实验索引
汇总本站数据库内核文章：PostgreSQL / MySQL InnoDB / 列存引擎 / 数据湖与开放表格式 / 流式数据处理 / 分布式 OLAP 查询引擎 / RocksDB 内核 / 向量检索引擎 / Redis 缓存内核 / 全文检索引擎，以及 LSM-Tree 从零实现实验。
parquet 标签归档
共 14 篇文章 · 返回首页
【向量检索引擎】对象存储上的 Segment 布局：快照、索引与寻址代价
以 flush 后去对象存储里查看文件为线索，拆解 Milvus 2.6.x 的对象路径结构（insert_log/delta_log/stats_log/index_files）、V1 按字段拆分与 V2 按段整合 Parquet 的寻址代价差异，并给出官方文档中可核对的 API 调用量级引用。
【向量检索引擎】Lance / LanceDB 对照：格式还是服务
承接 lakehouse/21 的 Lance vs Parquet 实测口径，用官方 Table Format 规范拆开 fragment/manifest/version 与 Milvus Segment/WAL 的边界；对照两边索引异步构建的共性，并给出湖侧 snapshot 与在线引擎可见性水位的对齐方式。
【分布式 OLAP 查询引擎】DuckDB 与 DataFusion：嵌入式分析对照
从单进程向量化 pipeline 与 morsel-driven 并行出发，对照 DuckDB 1.5.4 与 Apache DataFusion 的 planner/executor 边界；说明何时选嵌入式读湖、何时必须上 Trino MPP；与 columnar-engine DuckDB 存储篇分工，并用本机实测 EXPLAIN 与 Parquet 投影下推数据锚定结论。
【数据湖与开放表格式】Parquet 文件格式深拆
拆 Parquet 的物理结构：file → row group → column chunk → page，footer 里的 FileMetaData（Thrift）与 PAR1 magic。讲清 PLAIN/RLE-bitpacking/字典/DELTA_BINARY_PACKED/BYTE_STREAM_SPLIT 各自压谁，Dremel 的 repetition/definition level 如何表达嵌套，column index/offset index 与 split-block bloom filter 怎样让谓词在读盘前裁掉 page。基于本机 pyarrow 24.0.0 真实 dump footer 与编码。
【数据湖与开放表格式】ORC 文件格式与 Parquet 对照
ORC 用 stripe 而非 row group、用三级统计（file/stripe/row-group index）而非独立 page index、用 PRESENT/DATA 等 stream 而非 page 组织一列。本文按 ORC 规范拆其文件尾（postscript + footer）、stripe 内部结构与 RLEv2 整数编码，并用本机 pyarrow 24.0.0 把同一份 30 万行数据写成 ORC 与 Parquet，对比真实体积与物理布局，最后给出什么场景仍用 ORC。
【数据湖与开放表格式】Apache Arrow 内存格式与零拷贝
拆解 Arrow 列式内存布局（validity bitmap + value buffer + offset buffer）、零拷贝从何而来，以及 C Data Interface、IPC、Flight 三层跨边界传递。讲清 Arrow（内存计算格式）与 Parquet（磁盘存储格式）如何分工衔接。含 pyarrow 实测 C Data Interface 同地址零拷贝。
【数据湖与开放表格式】列式编码与压缩
拆解 Parquet 的两层缩减：专用编码（dictionary / RLE / DELTA_BINARY_PACKED / BYTE_STREAM_SPLIT）降熵，再用 zstd/snappy/lz4/gzip 压字节。用 pyarrow 在同一列上实测不同编码+压缩组合的体积与读取耗时（3M 行，7 轮中位数），并与 ClickHouse CODEC 做同思想不同落地的对照。
【数据湖与开放表格式】Parquet · Iceberg · Delta · Hudi 内核拆解
拆解 lakehouse 的两层基础：列式文件格式（Parquet/ORC/Arrow）与开放表格式（Iceberg/Delta/Hudi）。讲清没有数据库进程时，如何在对象存储上做 ACID、行级更新、快照与并发，以及 catalog、查询引擎、流式入湖如何拼成可运维的湖仓。面向数据平台工程师与从 OLAP/数仓转型的开发者。
【量化交易】行情与基本面数据管线：tick、bar、因子库
把量化系统里最容易藏雷的数据层从 tick 写到因子库走一遍：行情源接入与质量评估、tick 到 dollar bar 的 de Prado 式重采样、Parquet/Arrow/DuckDB/ClickHouse 列存选型、增量回填与断点续传、公司行动与前后复权、PIT 因子库与版本化查询、缺失监控与漂移检测；附 polars + pyarrow + duckdb 的可运行实现。
【数据库前沿】【数据库研究前沿】Iceberg vs Hudi vs Delta：湖仓表格式的事务边界与选型
把 Apache Iceberg、Apache Hudi、Delta Lake 放在同一张表上比较：metadata layout、snapshot isolation、多写者 OCC 协议、schema 与 partition evolution，最后给出 iceberg vs hudi 选型矩阵与对象存储上的事务边界。
【数据库前沿】【数据库研究前沿】多模态数据库：文本、向量、图、张量的统一存储
系统梳理 LanceDB、Chroma、Weaviate、SurrealDB 等多模态数据库的架构差异；列存格式（Lance、Parquet）如何支持张量；给出多模态一体化的选型矩阵，并与仓库的 Parquet/Arrow 文章互链。
【存储工程】Parquet 文件格式深度解析
上一篇我们讨论了列式存储（Columnar Storage）的核心思想：把同一列的数据连续存放，让分析查询只读取需要的列，而不是扫描整行。这个思想落地到具体文件格式时，需要回答一系列工程问题：文件内部怎么组织数据才能同时支持并行读取和列裁剪？同一列的数据用什么编码方式才能最大化压缩率？如何在不读取全部数据的前提下跳过不…
列式压缩：RLE / Dictionary / FSST
列式存储的压缩率优势，本质上是数据局部性的胜利。