【Rook / CSI】对照替代路径：云 CSI、Longhorn 与裸 Ceph/cephadm

前 13 篇把 PVC 从 StorageClass 讲到可观测与六轴排障。接下来的问题不是「Rook 功能全不全」，而是：什么时候这些编排税不值得付——云盘 CSI 已给出块设备、Longhorn 用另一套副本引擎、或裸机 Ceph 根本不想经 Kubernetes Operator。

本文不做延迟排行榜。跨方案延迟比较需要固定负载、硬件代际、副本策略与客户端路径；单个数字比较是口径欺骗。本文从机制分歧出发：每条路径赢在哪个前提，前提崩了代价是什么。云厂商 API 操作步骤不写；块存储产品机制见 storage/70；RADOS 相对 MinIO/云块/SPDK 见 ceph/17。

本文是「Rook / CSI：K8s 上的 Ceph 编排内核」系列第 14 篇（共 16 篇）。→ 系列目录

篇目	核心内容
第 13 篇 · 排障坐标系	Pending / MountFailed / feature 静默失败
第 14 篇 · 对照替代路径	云 CSI / Longhorn / 裸 Ceph
第 15 篇 · 多租户与安全	Secret、加密、fencing

版本锚定：Rook v1.20.4 + Ceph-CSI v3.17.0；对照结论是机制判断，不绑定某一云厂商 API 修订号。Longhorn 仅作引擎级对照，不写版本百科。

一、对照维度的确定

四条路径的分歧不在「谁功能更多」，而在下列不变量：

本篇回答的是：编排层选哪条路。若问题其实是「要不要 RADOS」，应先走 ceph/17–18 的排除树，再决定是否在 K8s 上用 Rook 包一层。

flowchart TD
  q{"Need RADOS semantics\n(RBD/CephFS/RGW on one cluster)?"}
  q -->|"No"| cloudOrLh{"Primary need is\nK8s block PVC?"}
  cloudOrLh -->|"On public cloud VMs"| cloud["Cloud CSI\n(EBS/PD class)"]
  cloudOrLh -->|"On bare metal / VIH"| lh{"Accept engine-level\nreplication model?"}
  lh -->|"Yes"| longhorn["Longhorn-class"]
  lh -->|"No"| other["Other / local PV"]
  q -->|"Yes"| k8s{"Must lifecycle\nvia K8s Operators?"}
  k8s -->|"Yes"| rook["Rook + Ceph-CSI"]
  k8s -->|"No"| bare["cephadm / bare Ceph"]

二、对照云托管块 CSI（EBS / PD 类）

云 CSI 赢在的前提

• 计算已在公有云虚机上，块设备由云 API 附加；CSI 驱动只是把「创建盘/挂盘」翻译成 PVC。
  
• 不愿意（或没编制）维护 MON quorum、OSD、PG、CRUSH、Ceph 主版本升级。
  
• 弹性与档位由云侧 IOPS/吞吐 SKU 表达，而不是自己算 PG 与满盘轴。

机制要点（详见 storage/70）：耐久性与故障切换收进厂商 SLA；用户看见的失败方言是云监控与有限 Events，没有 PG incomplete 或 BlueStore kv_sync_lat 这种可命名内核状态。

Rook+Ceph 赢在的前提

• 私有化 / 混合云 / 裸金属：数据面必须自管，云块 API 不存在或不被允许。
  
• 同一 RADOS 上要块 + 文件（+ 对象入口），不想为每类接口再买一条云产品线。
  
• 需要 CRUSH 拓扑、自管快照链路、跨集群 mirror 等可进 ADR 的机制旋钮。

经典反模式（机制判据）

在公有云虚机里用云盘再做 Ceph OSD，再经 Rook 供给 PVC：云块延迟 + RADOS 税叠两层，且 peering/满盘/恢复全自担——ceph/17 已列为不应使用 Ceph 的情形之一。本篇补充编排视角：若已决定用云块，应走云 CSI，而不是「Rook 包一层心理安慰」。

不做的事：不写某一家 EnableVolume/AttachDisk 教程；不引用未标定的「EBS 比 RBD 快多少」截图。

三、对照 Longhorn（引擎级）

Longhorn 与 Rook-Ceph 都在 K8s 里用 CSI 暴露块设备，但副本与重建发生在不同引擎抽象上。

Longhorn 赢在的前提

• 团队要的是 K8s 原生的中小规模块副本，接受引擎级复制模型，不需要 CephFS/RGW 统一、也不想学 PG/CRUSH。
  
• 运维编制够管 K8s 与 Longhorn 组件，但不够（或不愿）养 Ceph 主版本与 BlueStore 排障。

Rook+Ceph 赢在的前提

• 已有或必须建设 RADOS 语义（含 CephFS RWX、RGW、成熟的 RBD mirror/COW 工具链）。
  
• 规模与故障域假设匹配 Ceph（多故障域、PB 级叙事、需要 CRUSH 机架感知）。
  
• 排障希望落到 可命名的 PG/OSD 状态，而不是只停在「引擎重建中」。

争论点：社区营销常把「K8s 上的分布式块」说成同一品类。机制上不是。Longhorn 与 Ceph 优化的是不同的故障与放置不变量；用同一张 IOPS 表打榜，会把引擎差异洗成噪声。本篇只要求 ADR 写清：选的是引擎，不是品牌同义词。

若团队已经在 Longhorn 上稳定跑纯块、且明确永远不需要 CephFS/RGW，为了「以后可能统一」再迁 Rook，通常是把未发生的接口需求贴现成当下的双方言税——排除树上应记为投机性迁入，除非有可检验的接口日程。

不写 Longhorn 安装菜谱、Helm values、或版本兼容矩阵全书。

四、对照裸 Ceph / cephadm（无 Rook）

数据面可以是同一个 Ceph；分歧几乎全在控制面谁拥有生命周期。

裸 Ceph 赢在的前提

• 存储集群生命周期独立于某个 K8s 集群（多 K8s 共享一个 Ceph、或 Ceph 先于容器平台存在）。
  
• 平台团队精通 cephadm，认为 Rook Operator 的抽象增加了升级与排障层数。
  
• 需要 Rook 尚未覆盖或不想经 CRD 表达的 Ceph 配置面。

Rook 赢在的前提

• 单一团队同时拥有 K8s 与存储，希望设备发现、OSD、CSI 驱动与 Secret 都落在 GitOps/CRD。
  
• PVC/快照/扩容必须是一等声明式对象，且接受 Rook v1.20 的 CSI Operator 路径。
  
• 愿意为「编排便利」支付双方言税（第 13 篇六轴 + Ceph 五轴）。

工程间隙：裸 Ceph + 外部 Ceph-CSI 仍然要付 CSI features、Snapshot CRD、Secret 管理税——只是去掉了 Rook Operator。排除树上「不要 Rook」≠「不要 CSI」；也不等于「不要 Ceph」。

五、机制差异总表（分歧点，非功能清单）

表后判决：四条路径赢在不同不变量。Rook 赢在「RADOS + 声明式 K8s 生命周期」；云 CSI 赢在删掉存储编制；Longhorn 赢在「只要引擎块副本、不要 RADOS」；裸 Ceph 赢在控制面与某个 K8s 解耦。用延迟榜代替上表，是口径欺骗。

六、什么时候不该上 Rook+Ceph

排除树的反向视角（编排层）：

1. 已在公有云且只要块：用云 CSI（storage/70），不要叠 Rook。
   
2. 只要中小规模块副本、拒绝 Ceph 编制：评估 Longhorn 类引擎，而不是「先装 Rook 再说」。
   
3. Ceph 必须跨多个 K8s 或独立生命周期：裸 Ceph +（可选）外挂 CSI。
   
4. 付不起双方言排障：第 13 篇六轴 + ceph/16 五轴都要人值班——编制不够则托管或更简单引擎。
   
5. 主需求是亚毫秒本机盘：回 ceph/17 本机 NVMe/SPDK 叶，与 Rook 无关。

与 ceph/17 的阅读顺序

两篇对照文容易被误读成重复。固定顺序可以避免：

1. 先问 要不要 RADOS → ceph/17 / ceph/18。若答案是 MinIO、云块直用或本机 SPDK，本篇大部分叶子直接剪掉。
   
2. 若答案是「要 Ceph」，再问 要不要 Rook 包进本 K8s → 本篇与第 16 篇排除树。
   
3. 若答案是「要 Ceph 但不要 Rook」，仍可能需要 Ceph-CSI——那时第 13 篇六轴仍然适用，只是 Rook 层改为手工/GitOps 配置面。

把两篇合成一张「存储软件推荐榜」会破坏上述顺序，也会把引擎差异与编排差异糊成一列功能勾选。

迁移叙事（机制，非步骤书）

从云 CSI 迁到 Rook，或反向迁出，真正昂贵的不是改 StorageClass 名，而是失败方言与值班手册切换。迁入 Rook 前应已具备：六轴 runbook、主版本升级演练、features 门禁。迁出 Rook 到云 CSI 前应已具备：快照/克隆语义对照、应用是否依赖 CephFS RWX 或 RBD 特定镜像特性。缺演练的迁移，排除树上应记为「未关闭」，而不是「已完成切换」。

对「已经跑了 Rook，但只当远程盘用、从不看 PG」的团队，机制上等于付了 RADOS 全税却只消费云盘子集能力——排除树复盘时应追问：是编制不足，还是接口需求被高估。任选其一成立，都要回到第 16 篇重跑，而不是继续加节点「先撑住」。

七、谱系、争论与开放问题

谱系

CSI 规范（SIG Storage）把「存储插件」收成 gRPC；云厂商把块控制面留在自家 API；Ceph 把耐久放在 RADOS；Rook 把 Ceph 生命周期映射为 K8s CR；Longhorn 则把副本放进另一套引擎。四条线不是同一论文的四个实现，而是问题定义不同的工程分叉。本系列站在 Rook+CSI 分叉上写深，对照叶只负责排除。

争论：「K8s 上必须 Rook 才能用 Ceph」

A 侧：Operator 统一设备、密钥、CSI，减少雪花机。
B 侧：多集群共享 Ceph 或强 cephadm 团队时，Rook 变成多余编排层，升级矩阵更脆（第 11 篇）。
裁决依赖排除树第 16 篇，而不是安装量营销。

开放问题

1. 外挂 Ceph-CSI（无 Rook）与 Rook 托管 CSI 在 Secret 轮换与 mon endpoint 漂移上的失败率差多少？ 可检验：同 Ceph 集群、两套 K8s 对接方式，注入 mon IP 变更，比较轴六检测时延。
   
2. Longhorn 引擎重建与 Ceph recovery 对前台 P99 的隔离模型是否可公度？ 若不可公度，ADR 应禁止跨引擎延迟对比，只保留机制表。

参考资料

站内对照

• 云块存储（storage/70）
• Ceph 对照替代路径（ceph/17）
• Ceph 选型终章（ceph/18）
• 本系列第 16 篇排除树

官方文档（A/B）

• Rook v1.20 — 架构与 CSI 配置（rook.io/docs/rook/v1.20/）
• CSI Spec — container-storage-interface/spec
• Ceph — cephadm / orchestration 文档（docs.ceph.com，版本与集群一致）

论文谱系

• Weil et al. OSDI 2006；Weil et al. PDSW 2007 — RADOS 问题定义
  
• SIG Storage CSI 设计叙述 — 插件出树与 sidecar 模式（工程规范向）

→ 上一篇：排障坐标系 · 系列目录 · 下一篇：多租户与安全