【Envoy 数据面】HTTP filter 链与 Router：顺序语义、终端过滤器与重试超时落点
钉住 HCM 内 HTTP filter 的 decoder/encoder 顺序、Router 作为终端过滤器的含义，以及 retry/timeout 挂在路由与 Router 上的语义；说明「Router 之后再挂 filter」为何无效，并为 Cluster 上游选型铺路。
timeout 标签归档
共 3 篇文章 · 返回首页
【系统架构设计】AI 原生架构：LLM 时代的系统设计
当 LLM 从离线批处理变成在线运行时组件，超时预算、按 token 计费、非确定性输出与多轮 Agent 编排必须进入架构的一等公民。本文从依赖语义差异出发，衔接弹性与过载保护，讨论网关成本治理、结构化输出与人审闸门、checkpoint 恢复与隐私友好的可观测，并划定与 RAG、向量引擎及训练基础设施的分工边界。
【系统架构设计】弹性设计模式：熔断器、舱壁与超时
重试为何反而让系统雪崩？熔断器的状态机如何设计才不会误判？本文从一次重试风暴引发的雪崩事故出发，系统拆解熔断器（Circuit Breaker）状态机设计与参数调优、舱壁（Bulkhead）资源隔离策略、级联超时预算分配、指数退避与抖动的数学原理，深入分析 Resilience4j 与 Sentinel 的架构差异，讨论装饰器组合顺序的陷阱，最后给出工程案例复盘和弹性模式选型对比。