在一个界面统一接入云端与本地多种 AI 模型服务

方案简介

LibreChat 是一个受 ChatGPT 启发的开源聊天界面，其核心配方是「统一 UI + 多模型端点」：通过 Custom Endpoints 机制，任何 OpenAI 兼容的 API 都可以直接接入 LibreChat，无需代理。这意味着用户可以在同一个界面里自由切换 Anthropic (Claude)、OpenAI、Azure OpenAI、Google、Vertex AI 等云端大模型，也可以接入 Ollama、Apple MLX、koboldcpp 等本地模型服务，以及 groq、together.ai、OpenRouter、Deepseek、Qwen、Perplexity 等第三方供应商。该方案适合希望在私有界面中集中管理多个 AI 服务、并在云端与本地模型之间灵活选择的个人与团队。

亮点与能力

• 类 ChatGPT 的 UI 与交互体验，设计增强
• 在界面中直接选择不同 AI 模型供应商
• 支持任意 OpenAI 兼容 API 的自定义端点，无需代理
• 同时兼容本地与远程 AI 供应商（Ollama、Apple MLX、koboldcpp 等）
• 覆盖 groq、Cohere、Mistral AI、together.ai、OpenRouter、Deepseek、Qwen 等多家云端服务商
• 亦可接入 Helicone、Perplexity、ShuttleAI 等辅助服务

组成与分工

• LibreChat：统一聊天界面与模型路由层，负责 UI 与多端点管理
• Custom Endpoints：接入机制，让任意 OpenAI 兼容 API 直接对接，无需代理
• Ollama / Apple MLX / koboldcpp：本地模型运行时，提供私有化推理
• OpenAI / Anthropic (Claude) / Azure OpenAI / Google / Vertex AI：云端官方模型 API
• groq / together.ai / OpenRouter / Deepseek / Qwen 等：第三方兼容 API 供应商

使用与配置要点

接入非默认供应商时，通过 librechat.yaml 的 ai_endpoints 配置自定义端点，填写 OpenAI 兼容的 baseURL 与 apiKey 即可。本地模型（如 Ollama）只需指向其本地服务地址；云端供应商则使用各自密钥。配置完成后，在聊天界面的模型选择器中即可切换供应商与模型，验证方式为向所选模型发送消息并获得回复。

优缺点

• ✓ 免代理接入任意兼容端点
• ✓ 云端与本地模型统一选择

出处

本方案挖掘自开源项目 danny-avila/LibreChat，方案内容与实施命令均来自其 README 原文。