自托管统一界面聚合本地与云端 AI 服务商，实现多模型对话

方案简介

LibreChat 是一个自托管的 AI 对话平台，在一个注重隐私的统一界面中整合了所有主流 AI 服务商。受 ChatGPT 启发，并具备更强的设计与功能。

本配方聚焦其「多模型聚合对话」能力：通过自定义端点（Custom Endpoints）机制，LibreChat 支持任何兼容 OpenAI 规范的 API，无需代理。这意味着用户既可以接入 Anthropic (Claude)、OpenAI、Azure OpenAI、Google、Vertex AI、AWS Bedrock 等云端大模型，也可以接入 Ollama、Apple MLX、koboldcpp 等本地推理服务，以及 OpenRouter、groq、Together.ai、Deepseek、Qwen 等第三方聚合或模型服务商。

该方案适合以下人群：

• 希望在一个界面中统一使用多家 AI 服务商、避免在多个网页间切换的用户；
• 重视数据隐私、希望模型完全本地运行（如 Ollama）的团队；
• 需要多用户安全认证、内置审核与 Token 消耗管理的组织；
• 希望基础设施自主可控的开源爱好者。

亮点与能力

• 多模型选择：Anthropic (Claude), AWS Bedrock, OpenAI, Azure OpenAI, Google, Vertex AI, OpenAI Responses API（包含 Azure）。
• 自定义端点：支持任何兼容 OpenAI 规范的 API，无需代理。
• 本地与远程服务商兼容：Ollama, groq, Cohere, Mistral AI, Apple MLX, koboldcpp, together.ai, OpenRouter, Helicone, Perplexity, ShuttleAI, Deepseek, Qwen 等。
• 预设管理：创建、保存并分享自定义预设；在对话中随时切换 AI 端点和预设。
• 对话分支：编辑、重新提交并通过对话分支继续消息；消息与对话分叉 (Fork) 实现高级上下文控制。
• 搜索与导入导出：搜索所有消息和对话；从 LibreChat, ChatGPT, Chatbot UI 导入对话，导出为截图、Markdown、文本、JSON。
• 多语言 UI：包括简繁中文在内的 30 余种语言。
• 多用户安全：支持 OAuth2, LDAP 和电子邮件登录，内置审核系统和 Token 消耗管理工具。

组成与分工

• LibreChat：核心平台，提供受 ChatGPT 启发的统一对话 UI、预设管理、对话分支与多用户认证。
• 自定义端点机制：将任何兼容 OpenAI 规范的 API 统一转换为平台可用的模型端点，是聚合多家服务商的关键胶水层。
• Ollama / Apple MLX / koboldcpp：本地推理服务商，让模型完全本地运行，保障隐私。
• OpenRouter / groq / together.ai / Deepseek / Qwen：云端远程服务商，通过同一界面接入。
• OAuth2 / LDAP / 电子邮件登录：多用户安全认证体系。
• Docker 及多种部署选项：支持代理、反向代理与容器化部署。

前置要求

• 可运行 Docker 的主机或云环境（支持代理、反向代理、Docker 及多种部署选项）。
• 至少一个模型接入来源：云端服务商 API Key，或本地部署的 Ollama 等兼容 OpenAI 规范的服务。
• 可通过 Railway、Zeabur、Sealos 等一键部署模板快速上线（README 提供官方部署入口）。

实施步骤

1. 部署 LibreChat

选择适合的部署方式：可使用 README 提供的 Railway 官方模板、Zeabur 模板或 Sealos 模板一键部署，也可使用 Docker 自行部署，部署后进入统一对话界面。

2. 配置模型端点

对于云端服务商，在配置中填入对应 API Key（Anthropic、OpenAI、Azure OpenAI、Google、Vertex AI、AWS Bedrock 等均在支持之列）。

对于自定义服务商，使用自定义端点功能：LibreChat 支持任何兼容 OpenAI 规范的 API，无需代理，可在配置文件中声明 Ollama、groq、OpenRouter、Deepseek、Qwen 等端点地址与凭据。

3. 验证与使用

在对话界面中切换 AI 端点和预设，发送消息验证各端点连通；随后可创建并保存自定义预设，供自己或特定用户和群组共享。

使用与配置要点

• 在对话中随时切换 AI 端点和预设，针对不同任务选用不同模型。
• 编辑、重新提交并通过对话分支继续消息，或使用消息与对话分叉 (Fork) 实现高级上下文控制。
• 使用搜索功能查找所有消息和对话；导入历史对话（支持 LibreChat, ChatGPT, Chatbot UI 格式），并导出为截图、Markdown、文本、JSON。
• 管理员可使用内置审核系统和 Token 消耗管理工具进行多用户治理。
• 界面语言可切换，支持包括简体中文在内的 30 余种语言。

注意事项与常见问题

• 自定义端点要求服务商 API 兼容 OpenAI 规范，不兼容的 API 可能需要额外适配。
• 更新版本前请务必查看更新日志以了解破坏性更改。
• 项目为开源活跃开发状态，功能随版本演进，部署时建议参考 librechat.ai/docs 的最新帮助文档。

优缺点

• ✓ 可完全本地运行，注重隐私
• ✓ 对话中随时切换端点与预设
• ✕ 依赖各家服务商 API 兼容性
• ✕ 自托管需自行运维

出处

本方案挖掘自开源项目 LibreChat-AI/LibreChat，方案内容与实施命令均来自其 README 原文。