土法炼钢兴趣小组的算法知识备份

【存储工程】Apache Arrow：零拷贝内存列式格式

2025-09-15 | storage | #arrow #zero-copy #ipc #flight #columnar-memory #compute-kernel

在大数据和分析系统的演进过程中，一个反复出现的性能瓶颈不是计算本身，而是数据在不同系统之间搬运时的序列化（Serialization）与反序列化（Deserialization）开销。Pandas 把数据交给 Spark，Spark 把结果传给 R，R 再把子集喂给 TensorFlow——每一次跨系统传递，数据都要从…