LiteLLM

自托管/本地部署 5.6w

LiteLLM 是极速轻量的 AI 网关，Rust 内核搭配 Python SDK，统一调用 100+ LLM API

搭配玩法

LiteLLM +

Redis-Cluster + Docker+ Supabase 或 Firebase（IdP）+ Celery

用 FastAPI+Next.js+Postgres+Redis+Celery 自托管 AI Agent 全链路追踪与评估平台

✓ Docker 一键启动，自托管门槛低✓ 管理面与数据面双认证清晰 ✕ 依赖外部 IdP（Supabase/Fi✕ LLM judge 评估需自行接入模型

LiteLLM +

DSPy + 微软 GraphRAG

LiteLLM 作为语言模型网关被植入后门，顺着框架向下污染大量 agent 项目

LiteLLM 充当统一网关被多个 agent 框架依赖，网关一旦被污染影响面瞬间放大

✕ 网关单点被攻破即殃及所有下游框架，放大供

LiteLLM +

Ollama + Python 3.12+ Conda+ GraphRAG+ Chainlit

本地离线多智能体 GraphRAG 知识问答系统

✓ 完全本地离线运行无需 OpenAI AP✓ 支持多轮对话与多线程交互 ✕ 需替换 GraphRAG 包内源码文件操✕ 依赖 Ollama 本地模型性能

LiteLLM +

Qdrant + OpenAI-compatible API+ TGI+ LocalAI

本地索引+自部署OpenAI兼容LLM的轻量RAG，无需Ollama部署与重排器，资源占用更低。

✓ 资源占用更轻，无需Ollama✓ LLM服务端灵活，兼容多种推理服务器 ✕ 无重排，检索精度依赖向量检索✕ 需自行部署OpenAI兼容LLM端点

LiteLLM 是极速轻量的 AI 网关，Rust 内核搭配 Python SDK，统一调用 100+ LLM API

还没有评价

这款产品刚收录，成为第一个评价的人