【存储工程】序列化格式深度对比
系统对比 Protobuf、FlatBuffers、Cap'n Proto、MessagePack 等序列化格式——性能基准、零拷贝反序列化、兼容性设计与存储系统中的选型实践
zero-copy 标签归档
共 8 篇文章 · 返回首页
【存储工程】Apache Arrow：零拷贝内存列式格式
在大数据和分析系统的演进过程中，一个反复出现的性能瓶颈不是计算本身，而是数据在不同系统之间搬运时的序列化（Serialization）与反序列化（Deserialization）开销。Pandas 把数据交给 Spark，Spark 把结果传给 R，R 再把子集喂给 TensorFlow——每一次跨系统传递，数据都要从…
【网络工程】零拷贝网络：sendfile、splice 与 MSG_ZEROCOPY
数据从磁盘到网卡的传统路径涉及 4 次拷贝和多次上下文切换。本文系统剖析 sendfile、splice、vmsplice、MSG_ZEROCOPY 四种零拷贝技术的内核实现、适用场景与性能差异，并以 Kafka 和 Nginx 为案例分析零拷贝在生产系统中的工程实践。
【系统架构设计百科】零拷贝与内存映射：数据搬运的极致优化
一次普通的文件传输在 Linux 内核中要经历 4 次数据拷贝和 4 次上下文切换。sendfile、splice、mmap、io_uring、DPDK 各自用不同的方式缩减这条路径，但每种方案都有自己的使用条件和工程限制。本文从 Linux 内核的数据搬运路径出发，拆解五种零拷贝（Zero-Copy）技术的机制与取舍，结合 Kafka、Nginx、DPDK 的工程实践，讨论什么场景该用、什么场景不该用。
【io_uring 系列】io_uring 高级特性：榨干性能极限
深入探讨 io_uring 的进阶功能：SQPOLL (零系统调用)、Fixed Files (减少引用计数开销) 和 Provided Buffers (自动缓冲区管理)。
用 io_uring 写一个比 nginx 快的静态文件服务器
特定场景下精心调优的 io_uring 可以超过通用 nginx。我们用 fixed buffers、registered files、SQPOLL 把每个请求的系统调用从 6 个降到 0 个，然后用 wrk 正面 PK。
Zero Copy 的肮脏真相：它什么时候反而更慢
sendfile/splice/io_uring 的 zero-copy 路径深度解析与实测。揭示小数据包场景下传统 copy 因 cache locality 反而更快的反直觉真相。
序列化格式的真正代价：protobuf vs flatbuffers vs capnproto
不只测速度。schema evolution 的兼容性、zero-copy 的真实收益、生成代码的可维护性——这些才是选型时真正要看的东西。