进阶 docs.litellm.ai 2026-11-13 04:16:59 · 13 阅读
第1章 LiteLLM 核心功能概览
功能 “功能”指 LiteLLM 在处理各供应商请求时提供的能力,包括负载均衡与故障转移(fallbacks)、流式传输(streaming)、工具调用、多模态输入、提示词缓存(prompt caching)等。多数页面展示 Python SDK 的代码示例及 AI Gateway 的配置方法。仅适用于某一特定产品的功能,会归类在对应产品的章节下。
刚接触 LiteLLM?可以从 AI Gateway 快速入门或 Python SDK 快速入门开始。
路由与可靠性 涵盖负载均衡、故障转移、客户端故障转移、超时设置及路由规则。 请求与响应 涵盖流式传输、批处理、结构化输出及推理(reasoning)。 工具调用 涵盖函数调用(function calling)、网络搜索与抓取、计算机操作、代码解释器(code interpreter)及知识库。 多模态 涵盖聊天场景下的视觉、音频、PDF 输入及图像生成。 提示词与上下文 涵盖提示词缓存、助手预填充(assistant prefill)及预测输出。 兼容性 涵盖供应商特定参数、不支持的参数及消息清洗(message sanitization)。
本页其他内容 重试与故障转移、模拟响应(mock responses)、消息截断(message trimming)、模型别名及提示词格式化等功能,位于 Python SDK 章节。SSL 与 HTTP 代理设置位于 AI Gateway 配置页面,自定义格式则归属于自定义插件(custom plugins)章节。微调模型(fine-tuned models)与供应商章节关联,Veo 视频生成则位于视频接口(video endpoints)章节。