土法炼钢兴趣小组的算法知识备份

【数据湖与开放表格式】Apache Arrow 内存格式与零拷贝

2026-06-30 | database · storage | #arrow #ipc #arrow-flight #zero-copy #c-data-interface #columnar #parquet

拆解 Arrow 列式内存布局（validity bitmap + value buffer + offset buffer）、零拷贝从何而来，以及 C Data Interface、IPC、Flight 三层跨边界传递。讲清 Arrow（内存计算格式）与 Parquet（磁盘存储格式）如何分工衔接。含 pyarrow 实测 C Data Interface 同地址零拷贝。