【存储工程】MinIO 原理和架构
MinIO 原理和架构：Erasure Set、Server Pool、元数据与数据共置、修复与 IAM，以及 S3 兼容集群的部署运维要点。
object-storage 标签归档
共 9 篇文章 · 返回首页
【存储工程】小文件问题：为什么文件数量比文件大小更致命
系统分析小文件在块分配、元数据管理、磁盘寻道和网络协议四个层面的放大效应，用数据量化 slack space、inode 开销和 syscall 成本，给出应用层聚合与对象存储归档两种工程方案。
存储工程索引
汇总本站存储工程系列文章，覆盖 HDD、SSD、NVMe、持久内存、索引结构、压缩、分布式存储与对象存储。
【向量检索引擎】对象存储上的 Segment 布局：快照、索引与寻址代价
以 flush 后去对象存储里查看文件为线索，拆解 Milvus 2.6.x 的对象路径结构（insert_log/delta_log/stats_log/index_files）、V1 按字段拆分与 V2 按段整合 Parquet 的寻址代价差异，并给出官方文档中可核对的 API 调用量级引用。
【数据湖与开放表格式】Lakehouse 全景：从 Hive 表到开放表格式
Hive 目录式分区表把『表』等同于『一组目录加 metastore 里的分区行』，于是没有原子提交、planning 要 LIST 目录、schema 与分区演进常要重写。本文用这三个硬伤切入，讲清 lakehouse 把表拆成『不可变数据文件 + 可变元数据指针 + catalog』三层后各自解决了什么，并给出全系列的分层地图。
【数据湖与开放表格式】对象存储语义与代价
对象存储不是网络版 POSIX 文件系统。本文用 S3 官方语义钉住四件事：强一致模型的边界、LIST 随对象数线性增长的代价、没有原子 rename（只能 copy+delete）、条件写（If-None-Match/If-Match）对提交协议的意义，并讲清 multipart 与对象不可改写。
【数据湖与开放表格式】Parquet · Iceberg · Delta · Hudi 内核拆解
拆解 lakehouse 的两层基础：列式文件格式（Parquet/ORC/Arrow）与开放表格式（Iceberg/Delta/Hudi）。讲清没有数据库进程时，如何在对象存储上做 ACID、行级更新、快照与并发，以及 catalog、查询引擎、流式入湖如何拼成可运维的湖仓。面向数据平台工程师与从 OLAP/数仓转型的开发者。
【数据库前沿】【数据库研究前沿】Iceberg vs Hudi vs Delta：湖仓表格式的事务边界与选型
把 Apache Iceberg、Apache Hudi、Delta Lake 放在同一张表上比较：metadata layout、snapshot isolation、多写者 OCC 协议、schema 与 partition evolution，最后给出 iceberg vs hudi 选型矩阵与对象存储上的事务边界。
【存储工程】对象存储模型：从文件到对象的范式转变
深入分析对象存储的设计哲学——文件系统与对象存储的本质差异、CAP 权衡、最终一致性到强一致性的演进，以及 S3 API 核心操作实战