土法炼钢兴趣小组的算法知识备份

【系统架构设计】AI 原生架构：LLM 时代的系统设计

2026-07-29 | architecture | #ai-native #llm #agent #timeout #cost-governance #schema-validation #orchestration #observability #rag #architecture

当 LLM 从离线批处理变成在线运行时组件，超时预算、按 token 计费、非确定性输出与多轮 Agent 编排必须进入架构的一等公民。本文从依赖语义差异出发，衔接弹性与过载保护，讨论网关成本治理、结构化输出与人审闸门、checkpoint 恢复与隐私友好的可观测，并划定与 RAG、向量引擎及训练基础设施的分工边界。