【大模型基础设施工程】22：大模型网关
企业级 LLM 调用的统一入口：多供应商路由、配额与计费、语义缓存、Guardrails 与可观测，LiteLLM、OneAPI、Portkey、Kong/Envoy AI Gateway 的工程选型与落地。
guardrails 标签归档
共 2 篇文章 · 返回首页
【大模型基础设施工程】24：成本、合规与安全
从卡时、电费到 AI Act 与 Prompt Injection——一份写给基础设施工程师的大模型成本、合规、安全三位一体手册。
Linux 内核、存储与网络、可观测性、系统架构与大模型基础设施的工程笔记：机制拆解、踩坑复盘与可核对证据，少空谈。
共 2 篇文章 · 返回首页
企业级 LLM 调用的统一入口：多供应商路由、配额与计费、语义缓存、Guardrails 与可观测，LiteLLM、OneAPI、Portkey、Kong/Envoy AI Gateway 的工程选型与落地。
从卡时、电费到 AI Act 与 Prompt Injection——一份写给基础设施工程师的大模型成本、合规、安全三位一体手册。