进阶 docs.pangolin.net 2026-11-21 15:06:37 · 2 阅读

第7章 Pangolin 与 Bifrost、LiteLLM 对比

第7章:Pangolin 与 Bifrost 和 LiteLLM 的对比

Pangolin 与 Bifrost、LiteLLM 有何异同?

Pangolin 的 AI 网关具备传统 LLM 网关的核心功能:在多个供应商接口前统一 URL、模型路由、用量追踪及访问控制。其独特之处在于架构构建方式。它是一个协议感知的 Pangolin 资源,因此身份认证、隧道及治理机制与你用于 HTTPS 和 SSH 的系统完全一致。

为何需要网关

代码代理(Coding Agents)和 AI 客户端需要供应商 URL 和密钥。如果每台笔记本都存储着组织的 OpenAI、Anthropic 或 Gemini 密钥,你就无法追溯谁消耗了多少资源,也无法限制外包人员可调用的模型范围,且一旦密钥泄露,轮换操作需波及每一台设备。

AI 网关部署在这些上游 API 之前。客户端调用网关,网关负责验证调用者身份、选择供应商和模型、记录用量,并使用组织的真实密钥转发请求。LiteLLM 和 Bifrost 是专为该场景打造的产品。Pangolin 则将其实现为同一平台上的身份感知资源,与你应用和基础设施的其他访问控制机制保持一致。

协议感知资源

AI 网关资源并非独立的栈,而是一种 Pangolin 资源类型,正如 Web 应用使用 HTTP/HTTPS 类型、终端使用 SSH 类型一样。

Pangolin 已能检查 HTTPS 以应用身份验证、访问规则、请求日志和分析功能。AI 网关资源对模型 API 执行等效操作。由于它理解 LLM 协议,因此可以将每次调用归属到具体用户,记录成本和 Token 用量,保留聊天会话历史,并强制执行模型与预算的访问权限。

这就阐明了 Pangolin 的理念:它不仅仅是一个模型路由器,而是一个身份感知网关。

各方案的特性

LiteLLM 是专用的 LLM 代理。它在多个模型供应商前提供统一 API,支持虚拟密钥、支出追踪、故障转移和负载均衡。团队通常将其作为自托管代理运行,或在应用中集成其 SDK。

Bifrost 是专注于复杂路由规则、故障转移和性能的专用 LLM 网关。例如,你可以根据用户位置或请求内容将请求路由至不同模型。还可以将其置于 Pangolin 下游作为自定义供应商运行,由 Pangolin 负责身份验证,Bifrost 负责模型选择。

Pangolin 将相同的网关功能实现为协议感知资源。供应商配置、模型列表、公共资源的虚拟 API 密钥、预算及会话日志一应俱全。身份来自 Pangolin 用户、角色,以及(针对私有 AI 网关资源)桌面客户端。站点隧道和客户端隧道用于访问自托管模型,从而避免在笔记本上存储供应商密钥。

身份感知网关

访问权限跟随资源。你为其他 Pangolin 资源授予用户和角色权限的方式,同样适用于 AI 网关。Pangolin 随后决定该身份可调用哪些模型,以及预算是否允许此请求。

在公共 AI 网关上,代码代理发送虚拟 API 密钥。Pangolin 身份密钥用于识别用户;你授予的是用户或角色的访问权,而非密钥本身。

在私有 AI 网关上,运行在最终用户设备上的 Pangolin 客户端已完成了用户认证。该设备上的代码代理通过隧道完全私密地发起调用。Pangolin 将请求归属到已连接的身份。这消除了笔记本上的供应商 API 密钥:上游密钥从未离开供应商环境。

虚拟 API 密钥

在其他网关中,你为每个人生成密钥,并跟踪谁持有哪个密钥、该密钥可调用哪些模型。Pangolin 的虚拟 API 密钥逻辑相反。

每个用户已拥有身份密钥。你并非授予密钥对网关的访问权,而是授予用户或角色对 AI 网关资源及其模型的访问权。密钥仅用于将调用者标识为该用户。当你变更资源的访问者时,权限随之调整,无需将密钥清单作为访问控制的源头。

用户可获取自己的密钥:

- 在浏览器中登录公共网关 URL,使用 Pangolin 或身份提供商。登录后,Pangolin 显示密钥。 - 打开资源启动器,选择资源并复制密钥。启动器还展示可用模型列表及代码代理的配置方法。

管理员可将密钥通过电子邮件发送给用户。

你仍可手动生成密钥,方式与其他网关签发任意虚拟密钥相同。适用于服务、机器、CI 流程或个人,当你需要一个不绑定资源授权的密钥时。创建该密钥即授予其在指定公共网关的访问权限。参见《身份密钥与手动密钥》。

隧道

隧道是 Pangolin 在网络双向的优势所在。

站点:远程网络上的自托管模型

站点连接器部署在已运行 Ollama、vLLM 或其他模型服务器的网络上。自定义供应商使用站点目标(Site Targets),使网关能通过隧道访问该 API。模型主机无需公共 IP 或入站端口。Pangolin 还可从该节点调用云供应商,从而在一个资源中混合托管 API 和自托管模型。

你可以在同一站点网络部署 LiteLLM 或 Bifrost,并将其作为自定义供应商附加。Pangolin 负责身份验证,下游网关负责路由。

客户端:无需供应商密钥的远程访问

用户连接 Pangolin 客户端后,以访问私有主机或 SSH 资源相同的方式访问私有 AI 网关。这使得笔记本用户无需持有上游密钥,即可使用远程网络上的自托管模型或云服务。客户端连接即为凭证,因此无需向用户分发虚拟 API 密钥。

何时选择各方案

- 若希望在多个供应商前使用专用的 Python 代理或 SDK,且已有网络路径和独立身份层,选择 LiteLLM。 - 若需要专用的高性能 LLM 网关用于路由和故障转移,选择 Bifrost。可独立运行,或作为自定义供应商置于 Pangolin 之后。 - 若希望将 LLM 访问作为身份感知资源管理,选择 Pangolin:复用其他 Pangolin 资源相同的用户和角色,通过站点隧道连接自托管模型,利用客户端隧道在边缘进行身份验证和用量治理,确保供应商密钥不留在设备上。

AI 网关概览

为代码代理和 AI 客户端配置供应商、资源及基于身份的访问控制。

本页是否有帮助?

评论 (0)