【数据湖与开放表格式】Apache Arrow 内存格式与零拷贝
拆解 Arrow 列式内存布局（validity bitmap + value buffer + offset buffer）、零拷贝从何而来，以及 C Data Interface、IPC、Flight 三层跨边界传递。讲清 Arrow（内存计算格式）与 Parquet（磁盘存储格式）如何分工衔接。含 pyarrow 实测 C Data Interface 同地址零拷贝。
arrow 标签归档
共 5 篇文章 · 返回首页
【数据湖与开放表格式】Parquet · Iceberg · Delta · Hudi 内核拆解
拆解 lakehouse 的两层基础：列式文件格式（Parquet/ORC/Arrow）与开放表格式（Iceberg/Delta/Hudi）。讲清没有数据库进程时，如何在对象存储上做 ACID、行级更新、快照与并发，以及 catalog、查询引擎、流式入湖如何拼成可运维的湖仓。面向数据平台工程师与从 OLAP/数仓转型的开发者。
【数据库前沿】【数据库研究前沿】多模态数据库：文本、向量、图、张量的统一存储
系统梳理 LanceDB、Chroma、Weaviate、SurrealDB 等多模态数据库的架构差异；列存格式（Lance、Parquet）如何支持张量；给出多模态一体化的选型矩阵，并与仓库的 Parquet/Arrow 文章互链。
【存储工程】Apache Arrow：零拷贝内存列式格式
在大数据和分析系统的演进过程中，一个反复出现的性能瓶颈不是计算本身，而是数据在不同系统之间搬运时的序列化（Serialization）与反序列化（Deserialization）开销。Pandas 把数据交给 Spark，Spark 把结果传给 R，R 再把子集喂给 TensorFlow——每一次跨系统传递，数据都要从…
列式压缩：RLE / Dictionary / FSST
列式存储的压缩率优势，本质上是数据局部性的胜利。