AIChat 内置 HTTP 服务器，代理 LLM API 并提供 Playground 与 Arena 网页

方案简介

AIChat 不只是命令行工具，还内置一个轻量级 HTTP 服务器，一条命令即可把已配置的 20+ LLM 提供商以 OpenAI 兼容的 Chat Completions / Embeddings / Rerank API 形式暴露出来，同时附带 LLM Playground（浏览器直接对话）与 LLM Arena（并排对比模型）两个网页应用。适合想在本地快速搭建 LLM 网关或模型评测环境的开发者。

亮点与能力

• Chat Completions API：http://127.0.0.1:8000/v1/chat/completions
• Embeddings API：http://127.0.0.1:8000/v1/embeddings
• Rerank API：http://127.0.0.1:8000/v1/rerank
• LLM Playground：浏览器中直接与支持的 LLM 交互的 Web 应用
• LLM Arena：并排对比不同 LLM 的 Web 平台
• 可用 curl 直接测试流式请求

组成与分工

• AIChat：内置 HTTP 服务器，统一对接 20+ LLM 提供商并对外提供 API 与网页
• curl：用于测试代理 API 的流式请求
• 浏览器：访问 Playground 与 Arena 网页界面

前置要求

安装 AIChat：

sh
brew install aichat

或使用 cargo/pacman/scoop/pkg 安装，或下载预编译二进制加入 $PATH。

实施步骤

1. 安装并配置 AIChat

安装后配置至少一个 LLM 提供商（OpenAI、Claude、Gemini、Ollama 等）。

2. 启动内置服务器

$ aichat --serve
Chat Completions API: http://127.0.0.1:8000/v1/chat/completions
Embeddings API: http://127.0.0.1:8000/v1/embeddings
Rerank API: http://127.0.0.1:8000/v1/rerank
LLM Playground: http://127.0.0.1:8000/playground
LLM Arena: http://127.0.0.1:8000/arena?num=2

3. 用 curl 验证 API

sh
curl -X POST -H "Content-Type: application/" -d '{
"model":"claude:claude-3-5-sonnet-20240620",
"messages":[{"role":"user","content":"hello"}],
"stream":true

4. 浏览器使用 Playground / Arena

访问对应地址即可在网页中对话或并排对比模型。

使用与配置要点

• 模型名采用 provider:model 形式，如 claude:claude-3-5-sonnet-20240620
• Arena 地址可带 ?num=2 指定对比模型数量
• 所有 API 均为 OpenAI 兼容格式，便于现有客户端直接接入

优缺点

• ✓ 一条命令即可本地部署 API 服务
• ✓ 网页端并排对比不同 LLM
• ✕ 默认仅监听本机 127.0.0.1

出处

本方案挖掘自开源项目 sigoden/aichat，方案内容与实施命令均来自其 README 原文。