【大模型基础设施工程】22：大模型网关
企业级 LLM 调用的统一入口：多供应商路由、配额与计费、语义缓存、Guardrails 与可观测，LiteLLM、OneAPI、Portkey、Kong/Envoy AI Gateway 的工程选型与落地。
portkey 标签归档
共 1 篇文章 · 返回首页
发布来自土法炼钢兴趣小组的知识、笔记、进展和应用。主题包括数据结构和算法、编程语言、网络安全、密码学等。
共 1 篇文章 · 返回首页
企业级 LLM 调用的统一入口：多供应商路由、配额与计费、语义缓存、Guardrails 与可观测，LiteLLM、OneAPI、Portkey、Kong/Envoy AI Gateway 的工程选型与落地。