从磁头寻道、NAND 写放大,到 B-Tree、LSM、对象存储和分布式副本,存储的难点始终是如何在介质约束、成本和一致性之间做工程取舍。这个索引把整条脉络串起来。
本页提供统一入口;当前共收录 79 篇正文。
推荐入口
目录
- 【存储工程】HDD 机械硬盘:旋转时代的工程遗产
- 【存储工程】SSD 与 NAND Flash:FTL、写放大与磨损均衡
- 【存储工程】NVMe 协议与存储接口演进
- 【存储工程】持久化内存与存储层次
- 【存储工程】存储性能建模:IOPS、吞吐与延迟
- 【存储工程】存储介质选型指南
- 【存储工程】Linux I/O 栈全景:从 write() 到磁盘扇区
- 【存储工程】块设备层:bio、request 与 I/O 调度器
- 【存储工程】Page Cache 深度解析
- 【存储工程】Direct I/O 与 O_DIRECT:绕过缓存的得与失
- 【存储工程】Linux 异步 I/O:从 POSIX AIO 到 io_uring
- 【存储工程】数据完整性:从 fsync 到端到端校验
- 【存储工程】文件系统基础:inode、目录与 VFS
- 【存储工程】ext4 架构与调优
- 【存储工程】XFS 架构:大文件与高并发
- 【存储工程】Btrfs:写时复制文件系统
- 【存储工程】ZFS:数据完整性优先的存储栈
- 【存储工程】文件系统选型与基准测试
- 【存储工程】LVM 逻辑卷管理
- 【存储工程】RAID 原理与实践
- 【存储工程】Device Mapper:Linux 存储虚拟化层
- 【存储工程】块存储加密:LUKS 与 dm-crypt
- 【存储工程】存储快照与精简配置
- 【存储工程】存储引擎概览:堆文件到 LSM-Tree 的演化路径
- 【存储工程】B-Tree 与 B+Tree:页式存储引擎的工程实现
- 【存储工程】Buffer Pool:数据库的内存管理
- 【存储工程】WAL 与崩溃恢复:ARIES 协议
- 【存储工程】事务隔离级别的存储实现
- 【存储工程】索引结构:从 B+Tree 到倒排索引
- 【存储工程】Bitcask 与日志结构哈希表
- 【存储工程】LSM-Tree 工程调优:三种放大的权衡
- 【存储工程】RocksDB 工程实践
- 【存储工程】LMDB 与内存映射存储
- 【存储工程】嵌入式存储引擎对比
- 【存储工程】列式存储原理:为什么分析查询快 10 倍
- 【存储工程】Parquet 文件格式深度解析
- 【存储工程】Apache Arrow:零拷贝内存列式格式
- 【存储工程】时序存储引擎
- 【存储工程】向量存储与 ANN 索引
- 【存储工程】数据湖存储格式:Delta Lake、Iceberg 与 Hudi
- 【存储工程】存储编码技术:从变长整数到字典编码
- 【存储工程】压缩算法工程实践
- 【存储工程】校验和与数据完整性
- 【存储工程】序列化格式深度对比
- 【存储工程】存储加密工程
- 【存储工程】对象存储模型:从文件到对象的范式转变
- 【存储工程】S3 API 深度解析
- 【存储工程】MinIO 架构与实现
- 【存储工程】纠删码原理与存储效率
- 【存储工程】对象存储网关与兼容层
- 【存储工程】对象存储性能工程
- 【存储工程】数据分片策略
- 【存储工程】副本与复制策略
- 【存储工程】元数据管理
- 【存储工程】数据均衡与在线迁移
- 【存储工程】多租户存储隔离
- 【存储工程】存储与计算分离架构
- 【存储工程】数据持久性工程
- 【存储工程】存储故障模式
- 【存储工程】备份策略工程
- 【存储工程】灾难恢复设计
- 【存储工程】数据生命周期管理
- 【存储工程】存储混沌工程
- 【存储工程】存储基准测试方法论
- 【存储工程】I/O 性能分析工具链
- 【存储工程】缓存工程:从 Page Cache 到应用层缓存
- 【存储工程】写入性能优化
- 【存储工程】读取性能优化
- 【存储工程】存储全链路延迟分析
- 【存储工程】云块存储架构
- 【存储工程】云对象存储内部架构
- 【存储工程】计算存储分离实践
- 【存储工程】新硬件对存储的影响
- 【存储工程】存储技术展望
- 【存储工程】小文件问题:为什么文件数量比文件大小更致命
- 【存储工程】磁盘空间耗尽:从 70% 到 ENOSPC 的行为退化链
- 【存储工程】POSIX 文件锁:flock、fcntl 与 NFS 锁的工程陷阱
- 【存储工程】存储事故复盘:经典生产故障的根因与教训
- 【存储工程】O_DIRECT 与 io_uring:固定缓冲区、register_buffers 与工程选型
运维与可靠性(75–79)
- 75 小文件问题:slack space、inode/dentry 放大、HDD/NVMe 寻道与 syscall 成本;应用层打包与对象存储边界。
- 76 磁盘空间耗尽:四文件系统从 70% 到 ENOSPC 的退化链;Btrfs 元数据 ENOSPC、ZFS COW 红线与应急恢复 playbook。
- 77 文件锁陷阱:close-any-fd、OFD 锁、F_GETLK 竞态、NFS 租约与替代方案选型。
- 78 事故复盘:GitLab 五层备份失效、GitHub 脑裂;跨事故模式与可执行行动清单。
- 79 O_DIRECT +
io_uring:对齐约束、
register_buffers、与 epoll 选型及实测 IOPS。
延伸阅读
- 全部系列索引
- 分布式系统百科
- 网络工程索引
- 操作系统百科:VFS、页缓存、io_uring、调度、内存回收等底层机制是存储工程的内核侧背景;尤其 VFS I/O 路径全景、io_uring 内核内部、页缓存(VM 视角) 三篇直接相关。
同主题继续阅读
把当前热点继续串成多页阅读,而不是停在单篇消费。
【存储工程】小文件问题:为什么文件数量比文件大小更致命
系统分析小文件在块分配、元数据管理、磁盘寻道和网络协议四个层面的放大效应,用数据量化 slack space、inode 开销和 syscall 成本,给出应用层聚合与对象存储归档两种工程方案。
【存储工程】XFS 架构:大文件与高并发
XFS 诞生于 1993 年的硅谷图形公司(Silicon Graphics, Inc.),最初运行在 IRIX 操作系统上。 SGI 的核心业务是高性能计算和影视后期制作,客户需要处理的文件动辄几十 GB 甚至数 TB。 当时主流的 EFS(Extent File System)在面对这类工作负载时已经力不从心:元数…
【存储工程】存储介质选型指南
存储选型不是'SSD 比 HDD 快所以选 SSD'这么简单。不同工作负载对 IOPS、吞吐、延迟、容量、成本的权重完全不同。本文从性能、可靠性、成本三个维度对比 HDD、SATA SSD、NVMe SSD、Optane/PMem 和磁带,给出面向具体工作负载的选型决策框架和分层存储架构设计方法。
【存储工程】对象存储模型:从文件到对象的范式转变
深入分析对象存储的设计哲学——文件系统与对象存储的本质差异、CAP 权衡、最终一致性到强一致性的演进,以及 S3 API 核心操作实战