自建 LLM 代理网关:可观测性、密钥隔离与托管抽象的代价
讨论围绕 LLM proxy(应用或 Agent 与模型 API 之间的网关)是否应自行运行展开。自建方案如 LiteLLMProxy 可记录请求、签发虚拟密钥,并把真实 provider API 密钥隔离在沙箱之外,对会自主调用工具的 Agent 尤其重要;OpenRouter 等托管服务降低配置复杂度,但开发者可能失去对密钥、调用记录与安全策略的直接控制。
- 自建 LLM 网关可记录请求并签发 virtual keys
- 真实 provider API keys 可隔离在沙箱外,降低 Agent 调用风险