【Linkerd】排障坐标系:五轴否证与 native/legacy 证据包
按 Linkerd 五轴映射未 mesh、TLS 失败、无端点、策略拒绝与 502;强调先点名轴、native sidecar 与 legacy init+sidecar 分列证据包;并说明不可与 istio-xds 五轴混因果。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记:机制拆解、踩坑复盘与可核对证据,少空谈。
共 33 篇文章 · 返回首页
按 Linkerd 五轴映射未 mesh、TLS 失败、无端点、策略拒绝与 502;强调先点名轴、native sidecar 与 legacy init+sidecar 分列证据包;并说明不可与 istio-xds 五轴混因果。
按 Falco 五轴映射无事件、协商失败、富化空洞、规则未命中与输出/丢事件;强调先点名轴、modern_ebpf 与 kmod 分列证据包;并说明不可与 Tetragon 五轴混因果。
长事务 undo 膨胀、flush 列表堆积、gap lock 死锁链、主从延迟——现象、机制、排查 SQL 与修复边界。
按五轴映射 Envoy Gateway v1.9.0 南北向故障:status 未绿、Translator 产出空或错误 XdsIR、xDS NACK、Envoy 仍服务旧快照、入口之后的东西向 CNI;口诀是先点名轴,再下钻模块。
按五轴映射 Tetragon v1.7.0 故障:无事件落在 Hook/BTF/加载,策略不生效落在 collectionKey 撞名与 policyfilter,JSON allow/deny 不等于 gRPC,Override 依赖 CONFIG_BPF_KPROBE_OVERRIDE,血缘空洞来自 execve_map 未命中与 procFS 回填。
按五轴映射 Cilium 东西向故障:通用丢包、Policy denied、identity 漂移窗口、Service/ClusterIP 黑洞、透明加密失败;每轴绑定 status/Hubble/map 层,一次否证一轴。
按六轴映射 Rook/CSI 常见故障:PVC Pending、MountFailed、RBD feature 静默失败、VolumeSnapshot 未就绪、升级卡住、mon endpoint/Secret 错配;每轴绑定 API/sidecar/CSI/Rook/Ceph 层,并回收 ceph/18 三条编排摩擦。
按五轴映射 Ceph 常见故障症状:slow ops(慢操作)、peering 卡死、满盘/nearfull、recovery 拖死前台、checksum/inconsistent——每轴给出核对顺序与观测入口,不粘贴伪造集群输出。
把 SPDK 常见症状映射到绑盘/环境、reactor CPU、bdev 队列、传输超时、多路径五轴;给出可核对清单与观测入口,不虚构延迟数字与 RPC dump。
用 accept/bind、stream/mux、ACL/路由、上游/健康、reload/runtime 五轴组织 HAProxy 生产排障;说明 show info/stat/sess、日志与 stats 页面落在哪一层,不粘贴伪造转储。
用 pilot/pkg/xds 的 PushOrder 与 ShouldRespond 源码钉住 istiod 推送顺序与 NACK 处理边界,说明为什么'istiod 已推送'与'Envoy 在服务'之间的责任划分不在同一层,给出排障用的责任表。
把翻译、推送、ACK、warming、身份五个责任层对齐到具体 istioctl 子命令与 Envoy admin 端点,给出核对顺序而非命令输出;命令语义均引用官方文档,不粘贴未执行的结果。
按第 1 篇五条坐标系拆解无上游、路由未生效、证书/SDS、warming 黑洞、hot restart 与连接泄漏;给出 admin 核对顺序与观测信号入口,不虚构延迟数字。
把第 05–12 篇收成 Neo4j 生产诊断:先分计划基数 / 页缓存 I/O / 锁等待三轴;给出超节点、变长爆炸、heap vs page cache vs Lucene/向量、查询日志与指标的检查清单,不伪造 PROFILE 输出。
从进程模型到磁盘页面、从 MVCC 到流复制——对 PostgreSQL 内核做完整的源码级拆解。不止步于源码分析:26 篇中 6 篇是运维实战——经典故障的根因与排查路径、性能调查的五层工具链、配置陷阱与恢复边界。面向想读懂 PG 内核源码、在生产环境排查过问题、准备给 PG 贡献代码的工程师。
用症状到机制的决策树覆盖召回/延迟/堆积/OOM 四类故障,按可见性、段状态、过滤选择度、离线队列、对象存储与副本拓扑逐层定位;用一个跨软删广播与副本改派的最小故事说明为什么同一查询会得到不稳定结果,不含未跑的集群数字。
给出 WiredTigerHS.wt 膨胀、cache dirty/eviction 压力、长游标与备份窗口的可复现排查口径;强调禁止手工删除 HS/日志文件,并把现象映射回本系列机制篇。
在 WSL2 Linux 6.6 上用双 netns + 手工 xfrm 传输模式 ESP 实测 ping 与包计数;复现删除 out policy 后丢包;整理 swanctl/ip xfrm 排障台账与 TS、方向、NAT 类故障模式。
用症状到机制的决策树排查四类高频问题:事务超时、冲突风暴、Sequencer 切换写暂停、Storage 落后于 TLog;回链 OCC、恢复与运维篇,不重复调参手册。
用官方 Grafana 指标与系统表钉住五类高频生产故障的根因链:Region 过多、写/读热点、PD TSO 抖动、悲观锁冲突、raftstore apply 积压;给出症状到机制的决策树,不重复调参手册。
用症状到机制的决策树覆盖 circuit breaker、refresh 过频、大字段、分片过多与慢查询 explain,逐条回链本系列 Lucene 段与 ES NRT 篇章;不含未跑集群 benchmark。
按 Redis Latency Monitoring 与 INFO/SLOWLOG 信号,建立大 key、fork 延迟、阻塞命令、内存碎片四类故障的排查决策树;给出可在本机 redis-server 上执行的复现命令清单,不粘贴伪造输出。
用 GetProperty 与 LOG 钉住 L0 堆积、compaction 落后、Block Cache 未命中与 ENOSPC write stall 四类生产故障;交叉引用 storage/76 磁盘耗尽链,给出 db_bench 复现步骤而不伪造 stats 数字。
按全表扫、大 shuffle 倾斜、OOM/spill 失败、straggler task、metastore/catalog 超时五类生产故障,给出 planner/运行时观测入口与止血步骤;串联第 4–16 篇机制,不伪造 Trino UI 或 Spark 指标。
把前面 19 篇的机制落到工程决策:从 Hive 表迁移到 Iceberg 的三条路径与风险、湖仓 benchmark 的口径陷阱、生产里最常见的故障模式(孤儿文件、元数据膨胀、提交冲突风暴、快照过期误删、catalog 单点),以及一份可执行的运维清单。
拆解 PG 生产环境中最危险的五种故障模式——连接风暴与 work_mem 连锁效应、事务 ID wraparound 危机完整时间线、replication slot 溢出多米诺效应、OOM 连锁 kill、长事务 idle in transaction 隐性破坏。每个故障给出可复现的触发方法、Mermaid 时序图标注事件节点和排查断点、排查 SQL 脚本和修复边界,以及监控埋点策略让下次提前发现而非事后救火。
CDN 故障排查是运维工程中的高频场景。本文系统覆盖缓存未命中分析、回源异常诊断、CDN 响应头解读、性能监控体系搭建四个维度,提供从现象到根因的排查方法论。
OSI 七层模型和 TCP/IP 四层模型是每本教科书的开头,但大多数工程师学完就忘。这篇文章不重复教科书,而是从工程师的真实需求出发:分层到底帮你解决了什么问题?抽象在哪些场景会泄漏?每一层的核心工程关注点是什么?理解这些,后续排查网络问题时你才知道该从哪一层下手。
ping 超时不代表'网络不通',traceroute 的星号不代表'那一跳有问题'。这篇文章拆解 ICMP 协议的工程本质——每种类型和代码的含义、ping 和 traceroute 的三种实现方式、ICMP 限速与防火墙行为对诊断的干扰,以及如何用 ICMP 构建系统化的网络诊断方法论。
DNS 故障是最常见也最难排查的网络问题之一。本文系统性地覆盖 DNS 超时、NXDOMAIN、SERVFAIL、劫持四大故障类型的诊断方法,详解 dig、nslookup、drill 的高级用法,提供 DNS 故障的 SRE 应急手册和常见配置错误汇总。
系统讲解网络故障排查的方法论:OSI 分层排查法、连通性/性能/间歇性三类故障的诊断路径、排查决策树、工具链选择、真实故障案例复盘,建立从'网络不通'到精确定位根因的工程能力。
MTU 层层封装计算、不匹配症状诊断、PMTUD 黑洞排查,以及各 CNI 的最佳 MTU 配置
10 个真实网络故障案例拆解,从 conntrack 表满到 ClusterMesh DNS 失败的完整排查手册