机房脏活——从业务规划到电力、光纤、RDMA、光模块与交换机

算子与框架决定「卡怎么跑」；真正卡住上线的，经常是另一层——机房脏活：进线够不够、机柜能不能上 60–120 kW、光纤极性有没有画错、RoCE 的 PFC 谁负责、光模块备件按多少备、一期 BOM 怎么分期才不贬值。

本篇补的是 04 互联 与 24 成本 之间的空洞：业务 → 容量 → 电力/冷却 → 布线/光模块 → 交换机采购 → RDMA 交割 → BOM/预算。协议与 NCCL 调参仍以 04 为准；token 账单与 PUE 概念以 24 为准；服务化与机房「上面」的部署面看 21 服务化。文中数字一律标成规划量级 / 公开白皮书 / 行业常见区间，不是厂商合同价。

〇、30 秒版

1. 脏活是容量问题，不是采购清单问题：先从业务推卡数与机柜功率，再反推进线、冷却、端口与光模块。
2. 电力与冷却决定代际上限：风冷机柜常见直觉上限远低于 NVL72 级整柜功耗；上高密柜先问液冷与进线，再谈网络品牌。
3. 光纤/光模块是被低估的 CAPEX 与故障源：DAC/AOC/可插拔模块按距离选型；备件、兼容白名单、温度与变更纪律决定能不能长稳。
4. 交换机采购 ≠ 协议课：IB vs RoCE 看 TCO、运维复用、无损能力与锁定；拓扑（Leaf-Spine / Rail）直接改台数与线缆数。见 04。
5. 分期扩容：1 柜试点 → 一叶 → 一 Pod；每阶段有电力/RDMA/光模块门禁，避免按终态一次性囤货。

安全边界（必读）：本文只做规划沟通与交割清单，不替代电力设计院设计、供电局批复，以及持证专业人员的操作。文中任何「演练 / 故障注入」均须经业务、网络与设施责任人批准，在隔离试点或维护窗口内按 runbook 执行，并先确认回退与人员安全。不要把本文当成可照做的带电施工步骤。

配图说明：架构图（fig1–10）为本文绘制；实拍来自 Wikimedia Commons 等公开可复用图库，许可与署名见 images/photos/ATTRIBUTION.txt。

一、为啥单独讲脏活

1.1 和 04 / 24 / 21 怎么分工

1.2 谁该读

• 要把「明年 QPS / 训练 tokens」翻译成机房改造立项的人；
• 已经会配 NCCL，但第一次面对 PDU、MPO、CDU、光模块 RMA 的人；
• 采购/财务需要一张可复算假设表，而不是「听说要上液冷」的人。

GPU 单卡与机型基础仍看 02 GPU 入门；推理框架与算子见 29、30。

二、业务 → 容量：从 QPS 到机柜功率

图注：数据中心机柜与通道实拍（示意密度与走道，非封闭冷通道特写，亦非本文假设柜功率）。照片：Carl Lender / Wikimedia Commons，CC BY 2.0。

2.1 先分三条业务线

「tok/s/卡」强烈依赖模型、量化、引擎与 batch——定性地图见 11、29、30；这里只把它当成你自己压测得出的输入，不要抄未标注条件的网文数字当设计依据。

训练侧还要额外问存储：检查点带宽、并行文件系统或对象存储是否成为第二瓶颈。脏活里「机房」若不含存储网络，训练一拉满就会在另一张网上堵死——本篇默认存储网单独规划，但立项时必须同表出现。

2.2 可复算粗公式（规划量级）

推理卡数（示意）：

\[ N_{\text{gpu}} \approx \left\lceil \frac{QPS \times T_{\text{out}}}{S_{\text{tok/s/gpu}}} \times (1+\alpha) \right\rceil \]

• \(T_{\text{out}}\)：单请求平均输出 token（输入侧还要另加 prefill 占用，严 SLO 时更保守）；
• \(S\)：单卡可持续输出吞吐（你的压测）；
• \(\alpha\)：故障域 + 滚动升级 + 突发，常见规划 0.2–0.4。

更严的做法是把 prefill 与 decode 分列：交互场景下 TTFT 约束可能逼你把 batch 做小，\(S\) 立刻下降——同一 QPS，卡数可能翻倍。这是 21 的服务化问题，但会直接传导到机柜功率。

训练卡数（示意）：

\[ N_{\text{gpu}} \approx \left\lceil \frac{Tokens_{\text{target/day}}}{Tokens_{\text{per-gpu/day}}} \right\rceil \]

若压测给出的是单卡可持续 tokens/s，则单卡有效 tokens/日 ≈ tokens/s × 3600 × 每日可用小时 × 有效利用率（有效利用率里已含 MFU/并行气泡/通信开销；不要在已按目标并行配置测得的吞吐上再乘一遍并行度）。若从 FLOPS 反推，还必须补「每 token 计算量」与精度假设，不能只乘 MFU。MFU 被并行气泡与通信咬掉的部分，见 06 与 04。脏活含义：你若假设 MFU=50% 而网络只能撑到 30%，电力与光模块会按错误终态采购；MFU 越高，在目标产出不变时所需卡数应更少，而不是更多。

机柜与功率：

\[ N_{\text{rack}} = \left\lceil \frac{N_{\text{gpu}}}{G_{\text{per-rack}}} \right\rceil,\quad P_{\text{rack,IT}} \approx P_{\text{servers}} + P_{\text{net-share}} \]

CDU / 冷源份额单列到机柜配电或制冷容量栏，不要塞进再乘 PUE 的 IT 底数——PUE 已覆盖冷却与输配；把 P_cdu-share 加进 \(P_{\text{rack}}\) 再 ×PUE 会双计。

能耗 / 电费粗估用设施平均功率（只谈电费，不谈进线）：

\[ P_{\text{facility,avg}} \approx \Big(\sum P_{\text{rack,IT,avg}}\Big) \times \text{PUE} \]

容量 / 进线粗对齐用设计工况峰值（不是年平均）：

\[ P_{\text{facility,design}} \approx \Big(\sum P_{\text{rack,IT,design}}\Big) \times \text{PUE}_{\text{design}} \]

PUE 适合能耗与年电费讨论，不要直接把 PUE 当进线/变压器/UPS 的容量系数，也不要拿平均功率去做容量校验。进线、变压器与 UPS 容量应交设计院按设计工况（峰值 IT、冷却负载、供配电损耗、功率因数、冗余与扩容余量）计算；工程师提供的是 IT 负载曲线与同时系数假设。同时系数 \(\beta\) 建议写成负荷侧习惯：\(S_{\text{required}} = (\sum S_{\text{rack}} \times \beta)/\text{PF}\)；若你们把 \(\beta\) 乘在可用容量侧，立项表写清同一种定义即可。

2.3 假设表示例 A：推理试点（虚构，非报价）

假设：在线推理为主，70B 级稠密，FP8，目标高峰 QPS=40，平均输出 400 tok/req，压测得单卡可持续 ~2500 tok/s（仅作示例），\(\alpha=0.3\)。

2.4 假设表示例 B：千卡训练（虚构，非报价）

把漏斗从「两台推理机」换成「兆瓦级训练」，脏活从采购单变成能源与土建项目——这是本篇存在的理由。

2.5 业务增长怎么映射到扩容节奏

• 按 Q 增长：每季度重算 \(N_{\text{gpu}}\)，但光模块与交换机按当年询价与厂商路线图评估是否值得提前囤（价格与供货波动快，不必按固定「半年」口号囤货）；
• 按模型代际：同 QPS，上下文从 8k→128k，KV 与 prefill 可能逼你加卡或换并行，机柜功率跟着动；
• 按产品形态：Agent / 工具调用提升 tok/req（见服务化讨论），漏斗输入先变，再动设施。

三、电力与电压

3.1 常见路径（国内规划用语）

1. 市电进线：10 kV / 35 kV 等（以供电局批复为准）；
2. 变压器：降到低压侧。国内机房常见 380/220 V 三相四线；国际材料里常见的 400 V（IEC 标称）/ 480 V（美标）是另一套地域口径，采购与图纸不要混写。
3. UPS 或 HVDC：交流 UPS 路径成熟；HVDC（如 240 V / 336 V 级方案，具体以项目设计为准）减少变换级数、潜在更高效率，但生态与改造门槛要单独立项；
4. 列头柜 / 机柜 PDU：三相或单相；电流等级按单柜 kW 选，见下表。

注意：电压等级、接地与消防规范以当地标准与设计院图纸为准；本文不替代设计院设计、供电局批复及持证专业人员操作。下文只给工程师对齐「该问供电/物业什么问题」的词汇表。

图注：NERSC 机房内 MGE UPS 设备外观（示意「UPS 在链路里长什么样」，非选型推荐）。照片：Derrick Coetzee / Wikimedia Commons，CC0 1.0。

3.2 机柜 PDU 与服务器电源的对接细节

• 单相 vs 三相：低密可单相；GPU 柜几乎总是往三相走，否则回路数爆炸。
• 冗余供电：服务器双 PSU 接不同 PDU / 不同 UPS 路——画清 A/B 路，避免「看起来双电、实际同路」。
• 浪涌与错序：施工验收要做相序、接地、空开匹配；GPU 整机上电冲击可大于稳态，ATS/UPS 选型要问清楚。
• 智能 PDU：逐插座计量对「哪台机器在偷电/异常」极有用；训推混部时建议上。
• 连接器口径：C19（16 A / 250 V 量级）适合服务器电源进线 / 低密；相对 C13 是「高规格」，但相对 60–120 kW 柜远远不够。高密柜按安培数选工业连接器（如 IEC 60309）、母线槽或多路馈电，不要把「C19 常见」读成「覆盖高密全区间」。

单柜功率 ↔︎ 电流 / 连接器（三相 380 V 粗算，规划量级；按 80% 降额更保守）：

不要把「三相 32 A」与「单柜 20–120+ kW」并列读成「32 A 覆盖全区间」——32 A 只覆盖约 20 kW 量级。

图注：机柜内竖直 PDU、A/B 双路馈电示意。照片：Schleifenbauer / Wikimedia Commons，CC BY-SA 4.0。

3.3 冗余对 CAPEX 的直觉

冗余买的是可维护窗口与市电切换不掉作业。训练若不能接受整柜下电，N+1/2N 是业务连续性，不是运维洁癖。推理可降级服务时，可对「非核心池」降冗余以换 CAPEX——这要在 SLO 文档写死。

3.4 用单柜 kW 天花板反推代际

公开规格量级（随产品代际变，核对厂商资料；与 §2.3 / 图 3 同一组数）：

• 存量常规风冷：约 5–15 kW/柜；
• 高密风冷（后门换热 / 行级、良好气流）：约 20–30 kW/柜——不要把 40 kW 叫成「风冷友好」；
• 液冷：约 40–120+ kW/柜；GB200 NVL72 类整柜公开叙事约 ~120 kW，液冷几乎是标配（见 04 / 厂商 brief）；
• 华为 CloudMatrix 等超节点公开叙事可达更高柜功率——属于「自建数据中心」档，不是普通托管货架。

容量反推（量纲写清）：

\[ P_{\text{facility,avg}} = \sum P_{\text{rack,IT,avg}} \times \text{PUE} \quad (\text{kW，仅能耗/电费粗估}) \]

\[ P_{\text{facility,design}} = \sum P_{\text{rack,IT,design}} \times \text{PUE}_{\text{design}} \quad (\text{kW，设计峰值；用于容量}) \]

\[ S_{\text{required}} = \frac{\sum S_{\text{rack}} \times \beta}{\text{PF}} \quad (\text{kVA；PF 常取 } 0.9\text{–}0.95；\beta\text{ 乘在负荷侧}) \]

校验：\(S_{\text{available}} \ge S_{\text{required}}\)。若你们习惯把 \(\beta\) 乘在可用容量侧（\(S_{\text{available}}\times\beta \ge P_{\text{facility,design}}/\text{PF}\)），立项表写清同一种定义即可；不要用 \(P_{\text{facility,avg}}\) 去做进线校验。进线/变压器/UPS 的设计工况仍交设计院，上式只用于工程师对齐「该问什么」。

反推问题清单：

1. \(S_{\text{available}}\) 是否盖得住 \(S_{\text{required}}\)（含 PF 与 \(\beta\) 假设；容量用 design 峰值）？
2. PDU 回路数与单路过流保护，是否匹配服务器 PSU 冗余与上表电流档？
3. UPS 电池续航是「撑过 ATS 切换」还是「撑过短时市电」？训练作业 RTO 写进哪里？
4. 柴发 / 市电双路是否在合同里？AI 负载爬坡曲线供电局是否接受？

PUE 与电费公式见 24 §电力；本篇强调物理可装与批复可获。

3.5 电压相关的沟通话术（给非电力背景的人）

• 别只说「要 380V」——要说清：每柜多少 kW、几路、冗余级别、上电时序；
• 别只说「要液冷」——要说清：一次侧冷吨、进水温度范围、是否允许水进 IT 区；
• 把 GPU 代际路线图（两年内是否可能上 NVL 级柜）提前给电力设计，否则变压器按风冷柜打满后再改，代价极高。

四、冷却：风冷天花板与液冷改造

图注：LRZ CooLMUC 温水直冷 HPC 机柜实拍（冷板/换热器路线 + 较高供水温度策略；不是浸没）。照片：Megcluster / Wikimedia Commons，CC BY-SA 4.0。

4.1 三条技术路径（工程直觉）

PUE 受气候、负载率、一次侧、泵/风机、余热回收与测量边界影响；上表是带条件的规划/案例区间，不承诺「选了某冷却方式就一定到该值」。与 24 对照时，以本篇拆分为准。

4.2 CDU 与一二次管路

• 一次侧：冷却塔 / 干冷器 / 市政冷源；水质、结垢、冬季防冻是运维题；
• CDU：换热、泵、过滤、泄漏检测、旁路；CDU 本身要占机柜位与电力；
• 二次侧：机柜冷板回路；接头、盲插、滴水盘、漏液绳/托盘是高频点；
• 监控：进出水温度、压差、流量、漏液、泵状态进同一套告警，避免「IT 网管看不到水」。

4.3 改造老机房 vs 新建

实务建议：P0 试点柜就按「最终冷却形态」做，不要风冷试点成功后再说「生产再改液冷」——两套验收标准会让经验作废。

4.4 和业务的衔接

• 推理小集群：可能长期停在「高密风冷 + 好机房」；
• 训练 / NVL72 级：冷却立项往往早于交换机选型——否则设备到货无处可插；
• 混部：高密训练柜与低密推理柜分列，避免气流与管路互相拖累。

五、光纤与结构化布线

图注：机柜内光纤配线架正面（可见耦合器/端口面板；跳线在本角度不明显）。照片：Robert.Harker / Wikimedia Commons，CC BY-SA 3.0。

5.1 介质怎么选

距离与损耗预算要按模块规格留余量；「测得通光」不等于「BER 在训推长稳下可接受」。

图注：24 纤 MPO 连接器特写——极性与端面清洁是脏活高频点。照片：Reichle & De-Massari / Wikimedia Commons，CC BY-SA 3.0 DE。

5.2 结构化层次

MDA（主配）→ HDA（水平）→ 机柜内 EDA → 设备端口。训练集群建议：

• 所有主干双路径（物理路由分离，不只是双模块）；
• 标签含：机柜、端口、rail/链路角色、极性、长度、施工单据号；
• 变更走窗口；清洁端面进标准作业；禁止「临时跳一根先跑着」；
• 预留测试跳线与金样模块，避免生产口当实验室。

5.3 机柜内走线

• 前后门气流：线缆别挡 GPU 进风；
• 弯曲半径：MPO/高芯光纤按厂商最小半径，压扁=未来随机误码；
• 理线：按 rail/编号固定，后人 3am 排障才找得到；
• 电源线与光纤分槽，避免维护时误拔。

5.4 运维纪律（脏活核心）

一条脏 MPO、一次错误极性、一次热插拔抖动，在无损 RDMA 下可能表现为 PFC 风暴或 fail-slow（现象侧见 04）。把光纤当办公网线拔，是训练集群经典事故剧本。

建议把「光链路变更」升级到与「生产数据库变更」同级的审批——听起来夸张，但对千卡作业便宜很多。

六、光模块与线缆

图注：10GBASE-SR SFP+ 可插拔光模块（形态示意；训推网常见为 QSFP28/QSFP-DD/OSFP 等同族更大封装）。照片：Dmitry Nosachev / Wikimedia Commons，CC BY-SA 4.0。

6.1 DAC / AOC / 可插拔

混合策略很常见：柜内 DAC、列内 AOC、跨列/跨 MDA 用模块+单模。

6.2 速率代际与端口匹配

规划讨论里常出现的档：100G → 200G → 400G → 800G。原则：

• 交换机端口、NIC、模块、线缆同一代际叙事对齐（含 breakout：800G→2×400G 等）；
• 不要只看标称速率，要看编码（如 PAM4）、固件、散热与面板密度；
• 04 提到可插拔模块功耗可逼近交换机本体——高密 800G 面板要算光模块总功耗与散热；
• 「追最新 lane 速率」未必利于长稳：有团队故意留在更成熟的 lane 代际以换抖动余量（04 亦有类似工程判断）。

6.3 兼容、锁定与备件

• 白名单：许多交换机只认认证模块；白牌省 CAPEX，换 RMA 与排障时间。
• 固件矩阵：模块、NIC、交换三个版本号要冻结进「已知好」表。
• 备件比例：规划讨论里常见大约 5–15% 量级（随失效率、到货周期、是否跨代而变，非精确公式）；跨城机房取上限。
• 成本：公开渠道价随批量与年份剧烈波动；只强调「光模块+线缆常占总 CAPEX 的数个到十余个百分点，且最易在立项时漏项」。
• 寿命与温度：面板边缘高温位优先；遥测温度进看板。

6.4 库存与供应链脏活

• SKU 爆炸：同一速率不同封装（QSFP-DD/OSFP）、不同距离、不同厂商 → 库房灾难；能收敛就收敛；
• 到货周期：高峰年份光模块可能长交期——P0 就要锁试点 SKU；
• 报废策略：代际切换时明确「旧模块给非关键池 / 实验室」，别混进生产白名单。

七、交换机选型脏活

图注：机架式以太网交换机正面端口（示意面板与模块位；非训推网 IB/RoCE 选型推荐）。照片：X-Javier / Wikimedia Commons，CC BY-SA 4.0。

7.1 采购视角：IB vs RoCE（呼应 04，不重复协议课）

国产以太网白牌 + 自研 NIC/交换（阿里 HPN、腾讯星脉等公开材料）属于 RoCE 阵营的工程现实——细节见 04。

决策启发式（非教条）：

• 已有强以太团队、要快速扩到万卡、预算紧 → 认真评估 RoCE；
• 小团队、要「开箱偏稳」、深度绑 NVIDIA 栈、接受溢价 → IB 仍常见；
• 无论选谁：无损与线缆质量比品牌口号更能决定 MFU。

7.2 拓扑如何改「台数与线缆数」

• Leaf-Spine：服务器→Leaf，Leaf↔︎Spine 全互联；扩展清晰，线缆数随过订阅比变。
• Rail-optimized：8 卡机常见 GPU\(i\)→Rail\(i\)；DP AllReduce 走同 rail，减少跨 rail ECMP 冲突；leaf 组数/端口池按 rail 复制，BOM 与布线标签都更复杂。

粗算口诀：分别列 服务器–Leaf 与 Leaf–Spine。\(N\) 台 8×400G 服务器 → 服务器–Leaf 至少 \(8N\) 条链路；Leaf–Spine 另按拓扑与过订阅算。DAC/AOC 按条；可插拔光链路模块数 ≈ \(2\times\) 光链路数（两端各一）；光纤按配线方案；再各自加备件。不要把「上联×2 端」套在 DAC 上（一条 DAC 已是含两端连接器的整段组件）。拓扑一改，采购单重做。

过订阅（oversubscription）是财务杠杆也是性能陷阱：推理可适度过订阅；大同步训练对「看起来省了的 spine 端口」非常敏感——省下的钱可能从 MFU 里十倍吐回去。

7.3 规格检查清单（买之前）

• 端口速率与密度、是否支持你们的 breakout；
• Buffer 与 PFC 计数/遥测是否够训推突发；
• 管理面：CLI/API、固件升级路径、自动化（Ansible/厂商工具）；
• 维保：4h/NBD、备机、备件所在地、是否含光模块；
• 供电与散热：交换机本体 + 满配光模块功耗 + 进风方向与机柜布局；
• 安全：控制面隔离、固件签名、账号与审计（训推网被横向打穿的代价极高）。

7.4 国产白牌 vs NVIDIA 系：工程取舍表

八、RDMA 端到端落地 Checklist

8.1 四分法

1. 硬件：NIC 型号/固件、PCIe 拓扑、GPUDirect RDMA 是否在支持矩阵内；
2. 驱动 / OFED：RoCE GID、链路层、NCCL 是否认到 NET/IB 而非 Socket（排障见 04）；
3. 交换机：PFC 使能与优先级、ECN 阈值、ECMP、buffer、告警；
4. 验收：单流/多流带宽与时延、丢包、长稳、训练 step 抖动。

8.2 配置归属（减少扯皮）

把「谁有权限改 PFC」写进变更手册；多人可改且无审计，是生产事故的标配前情。

8.3 验收最低集（交割用）

记录本项目的：配置版本、拓扑、消息大小、并发、阈值生成方法，以及测试窗口内计数器增量基线（相对清零或相对历史）。

• verbs / 带宽：ib_write_bw（或同级 RDMA verbs 工具）单流/多流；阈值按线速百分比与本项目历史基线定，并记录端口速率/MTU/PCIe 代数（普通 TCP iperf 可作对照，不能替代 RDMA 验收）；
• 集合通信：NCCL tests / 真实小作业，按本项目并行拓扑与消息大小达标；
• 长稳 24–72h：光模块温度、重训、CRC；
• 交换机侧健康画像：关注测试窗口内 PFC/Pause 计数器是否持续异常增长、是否形成 Pause 风暴及业务影响；「PFC 接近 0、ECN 少量」是常见画像，不是要求所有合法 RoCE 场景原始计数恒为零的绝对门禁；
• 故障注入（前提）：须经业务、网络与设施责任人批准，在隔离试点或维护窗口内按 runbook 执行，先确认回退与人员安全；例如拔一条上联、杀一个 leaf、模拟 UPS 切换，看作业是否按设计降级。

8.4 与 04 的交叉：你在本篇只「交割」，细节回原篇

• NCCL 环境变量、GID、GDR、rail 拓扑原理 → 04；
• 本篇保证：立项有清单、验收有门禁、归属有名字。

九、BOM 与预算

9.1 CAPEX 拆分（规划占比直觉）

上表区间可重叠，不是加总到 100%；只用于排优先级，不用于招投标。比例随代际与自建/托管变化，文中未绑死某一白皮书百分比。

自建与托管的分界：托管省土建，但柜功率密度与液冷许可可能卡死代际；自建 CAPEX 高，换控制权。财务模型要显式比较「三年 TCO」，不要只比首年发票。

9.2 OPEX：电费可复算表

年电费粗算：

\[ C_{\text{elec/year}} \approx P_{\text{IT,avg(kW)}} \times 8760 \times \text{PUE} \times t_{\text{kWh}} \]

再叠加：维保（常按设备清单百分比）、专线、人力、光模块损耗、出差与备件物流。电费对选址敏感：西部枢纽电价区间与东部差异，可单独抬到立项 PPT 首页（数字仍走 24 的区间口径）。

9.3 分期扩容门禁

切忌按终态一次性囤满最新模块——价格、供货与代际变化快，按项目询价与路线图复核。试点柜要故意覆盖最脏路径：液冷接头（若采用）、MPO 极性、RoCE 无损、UPS 切换。

9.4 示例 BOM 表（虚构，量级合理，明确非报价）

场景：16 卡推理试点柜 + 小规模 RoCE 叶，结构示意。

合计金额故意不写死——用你们当年询价填充；表的价值是不漏行。

9.5 预算评审时工程师该带的三张表

1. 假设表：QPS/tokens、\(S\)、\(\alpha\)、PUE、电价、同时系数；
2. 功率表：逐柜 IT 功率 → 设施功率 → 进线需求；
3. BOM 表：按 P0/P1/P2 分行，标「本季下单 / 下季选项」。

缺任一表，会议会退化成「我觉得液冷比较好」。

十、踩坑清单与开放问题

10.1 踩坑清单

1. 用网文 tok/s 直接定卡数，没有自己的压测与 SLO 余量；
2. 只订 GPU，忘了光模块、光纤施工、PDU、CDU；
3. 机柜功率按服务器铭牌加总，忽略光模块/交换机与 PUE；
4. RoCE 环境 PFC 乱开或阈值不当，训练一跑就 Pause 风暴；
5. MPO 极性现场临时改，导致「有光无业务」排障三天；
6. 白牌模块省小钱，在关键窗口无备件；
7. 按终态一次采购，模块代际切换后库存报废；
8. 试点柜只用最好路径，没测 UPS 切换与泄漏；
9. 网络队与平台队对 DCQCN/PFC 归属不清，故障互相甩；
10. 把托管「可上架」当成「可上 120 kW 液冷柜」；
11. 过订阅省 spine，MFU 崩了再补线，工期与业务双爆；
12. 训推混部共故障域，一次光模块抖动两摊业务一起红。

10.2 开放问题（留给作者/读者跟进）

• 你们区域供电局对 AI 机房增容的真实周期与同时系数如何批复？
• 800G/1.6T 时代，CPO/LPO 是否已进入可采购清单？（趋势见 04）
• UEC 与 Spectrum-X 在供应链的 2026–2027 可交付性？
• 国产液冷 CDU/冷板生态的维保半径是否覆盖机房城市？
• 训练与推理混部时，电力/网络故障域如何切分才不互相踩踏？
• 碳核算与绿电合约如何进入机房选型（政策与电价双驱动）？

十·附、自建 vs 托管，与一周启动清单

A. 自建 / 改造 / 托管怎么选

决策不是道德问题：增长不确定时用托管买期权；路线清晰且柜功率被托管卡死时，改造/新建的 NPV 才算得过。

B. 与业务方的一页对齐稿（可直接贴立项）

1. 业务：明年高峰 QPS / 日 tokens / SLO；模型与上下文假设；训推是否混部。
2. 容量：卡数、机柜数、单柜 kW、设施 kW（含 PUE 假设）。
3. 约束：现机房进线剩余、能否液冷、托管合同密度上限。
4. 网络立场：IB 或 RoCE；拓扑 Leaf-Spine 或 Rail；端口代际。
5. 分期：P0/P1/P2 范围、门禁、本季采购清单。
6. 风险：供电批复周期、光模块交期、代际贬值、人才（谁会调 PFC）。

C. 一周脏活启动清单（工程师可执行）

D1–D2 摸底

• 拉出业务假设表（QPS/tokens/SLO/模型）；
• 现机房：进线容量、PDU 型号、承重、是否允许液体、列头柜位置；
• 现网络：是否已有 RoCE/IB、交换机 buffer/PFC 能力、光模块白名单。

D3–D4 粗算

• 跑通第二节公式，得到卡/柜/功率三行数；
• 画一张「柜功率 vs 机房上限」红线；
• 选拓扑草案，估算上联条数与模块数量级。

D5 对齐

• 与电力/物业/托管客户经理开 1 小时：只谈 kW、液冷、工期；
• 与网络队开 1 小时：只谈无损能力、归属、验收；
• 产出 P0 BOM 草稿（允许缺价格）。

D6–D7 试点设计

• P0 机柜布置（服务器/交换/PDU/CDU）；
• 光纤极性与标签规范初稿；
• RDMA 验收用例列表（第八节最低集）。

做完这一周，你就有资格谈预算；没做完就谈「上多少卡」，容易买回一堆插不进机房的盒子。

D. 文档与图纸最小集

E. 和系列其它篇的阅读顺序建议

1. 先 02 建立单机功率直觉；
2. 再读本篇漏斗与电力/冷却；
3. 并行读 04 把拓扑与 RDMA 原理补全；
4. 用 24 把电费与 TCO 讲给财务听；
5. 卡上软件栈回 21 / 29 / 30。

十一、小结

机房脏活的正确顺序是：业务 → 卡与柜功率 → 电力/冷却可行性 → 布线与光模块 → 交换机与 RDMA 交割 → 分期 BOM。协议细节回 04，电费与 PUE 账回 24，卡上服务回 21 / 29。

下一篇可以往更窄的切口挖——例如「液冷改造施工验收清单」或「RoCE 无损网络变更 runbook」；有明确业务场景再开题，比再写一篇空泛「数据中心趋势」有用。