搭配方案

共 6 条
LiteLLM + FastAPI FastAPI+ Next.js Next.js+ PostgreSQL PostgreSQL+ Redis-Cluster Redis-Cluster + Docker+ Supabase 或 Firebase(IdP)+ Celery

用 FastAPI+Next.js+Postgres+Redis+Celery 自托管 AI Agent 全链路追踪与评估平台

✓ Docker 一键启动,自托管门槛低✓ 管理面与数据面双认证清晰 ✕ 依赖外部 IdP(Supabase/Fi✕ LLM judge 评估需自行接入模型
LiteLLM + crewAI crewAI+ DSPy DSPy + 微软 GraphRAG

LiteLLM 作为语言模型网关被植入后门,顺着框架向下污染大量 agent 项目

LiteLLM 充当统一网关被多个 agent 框架依赖,网关一旦被污染影响面瞬间放大

✕ 网关单点被攻破即殃及所有下游框架,放大供
LiteLLM + AutoGen AutoGen+ Ollama Ollama + Python 3.12+ Conda+ GraphRAG+ Chainlit

本地离线多智能体 GraphRAG 知识问答系统

✓ 完全本地离线运行无需 OpenAI AP✓ 支持多轮对话与多线程交互 ✕ 需替换 GraphRAG 包内源码文件操✕ 依赖 Ollama 本地模型性能
LiteLLM + vLLM vLLM+ Ollama Ollama+ Docker Registry Docker Registry+ Qdrant Qdrant + OpenAI-compatible API+ TGI+ LocalAI

本地索引+自部署OpenAI兼容LLM的轻量RAG,无需Ollama部署与重排器,资源占用更低。

✓ 资源占用更轻,无需Ollama✓ LLM服务端灵活,兼容多种推理服务器 ✕ 无重排,检索精度依赖向量检索✕ 需自行部署OpenAI兼容LLM端点
LiteLLM + OpenAI GPT Latest OpenAI GPT Latest+ Ollama Ollama+ Gemini Gemini + TMDb+ Seer

用OpenAI兼容LLM分析观看历史生成超个性化推荐并附AI理由,支持自然语言AI搜索

通过 OpenAI 兼容接口统一接入多家 LLM,本地 Ollama 或云端模型均可,灵活替换

✓ 支持本地Ollama离线运行✓ 每个推荐附带AI理由 ✕ 功能仍为beta阶段
LiteLLM + Ollama Ollama+ Next.js Next.js+ FastAPI FastAPI+ Redis-Cluster Redis-Cluster + Docker+ SearXNG

开源自托管 AI 搜索引擎,本地或云端 LLM 生成带引用答案

✓ 支持本地模型免 API Key✓ Docker 一键部署 ✕ Live Demo 仅支持云模型