进阶 python.useinstructor.com 2026-11-15 16:34:58 · 11 阅读

第3章 服务商集成

大语言模型(LLM)服务商集成教程¶ 学习如何将 Instructor 与各类 AI 模型服务商集成。这些综合教程涵盖了从 OpenAI 和 Anthropic 等云服务到本地开源模型的全部内容,助你在任意 LLM 中提取结构化输出。 主要云服务商 功能全面的主流 AI 服务商 OpenAI · 兼容 OpenAI 的网关 · OpenAI Responses · Azure · Anthropic · Google.GenerativeAI · Vertex AI · AWS Bedrock · Google.GenAI · xAI 其他云服务商 具备特色功能的商业 AI 服务商 Cohere · Mistral · DeepSeek · Together AI · Groq · Fireworks · Cerebras · Writer · Perplexity SambaNova 开源 在本地或云端运行开源模型 Ollama · llama-cpp-python 路由 多服务商统一接口 LiteLLM OpenRouter 通用功能¶ 所有集成均支持以下核心功能: 功能 描述 文档 模型补丁 为服务商客户端增强结构化输出能力 补丁 响应模型 使用 Pydantic 模型定义预期的响应结构 模型 验证 确保响应符合你的 Schema 定义 验证 流式 支持部分或迭代式响应流式输出 部分、可迭代 钩子 添加回调以进行监控和调试 钩子 不过,各服务商的能力和限制有所不同,具体详情请参考对应服务商的文档。服务商模式¶ 服务商支持多种生成结构化输出的方式: 模式 描述 支持的服务商 TOOLS 使用类似 OpenAI 的工具/函数调用 OpenAI、Anthropic、Mistral PARALLEL_TOOLS 同时发起多个工具调用 OpenAI JSON 直接生成 JSON 响应 OpenAI、Gemini、Cohere、GenAI MD_JSON 在 Markdown 中嵌入 JSON 大多数服务商 详细对比请参考 模式对比 指南。入门指南¶ 使用 Instructor 配合服务商主要有两种方式: 1. 使用服务商初始化(推荐)¶ 最简单的起步方式是使用服务商初始化功能: import instructor from pydantic import BaseModel

class UserInfo(BaseModel): name: str age: int

# 通过简单的字符串初始化任意服务商 client = instructor.from_provider("openai/gpt-5.4-mini") # 或者使用异步客户端 async_client = instructor.from_provider("anthropic/claude-3-sonnet", async_client=True)

# 所有服务商共用同一套接口 response = client.create( response_model=UserInfo, messages=[{"role": "user", "content": "你的提示词"}] ) 支持的服务商字符串格式: - openai/模型名:OpenAI 模型 - anthropic/模型名:Anthropic 模型 - google/模型名:Google 模型 - mistral/模型名:Mistral 模型 - cohere/模型名:Cohere 模型 - perplexity/模型名:Perplexity 模型 - groq/模型名:Groq 模型 - writer/模型名:Writer 模型 - bedrock/模型名:AWS Bedrock 模型 - cerebras/模型名:Cerebras 模型 - fireworks/模型名:Fireworks 模型 - vertexai/模型名:Vertex AI 模型 - genai/模型名:Google GenAI 模型 - ollama/模型名:Ollama 模型 服务商清单¶ 使用以下示例字符串配合 from_provider 即可快速上手: instructor.from_provider("openai/gpt-5-nano") instructor.from_provider("anthropic/claude-3-sonnet") instructor.from_provider("google/gemini-2.5-flash") instructor.from_provider("mistral/mistral-large-latest") instructor.from_provider("cohere/command-r") instructor.from_provider("perplexity/sonar-small") instructor.from_provider("groq/llama3-8b-8192") instructor.from_provider("writer/palmyra-x-004") instructor.from_provider("bedrock/anthropic.claude-3-sonnet-20240229-v1:0") instructor.from_provider("cerebras/llama3.1-70b") instructor.from_provider("fireworks/llama-v3-70b-instruct") instructor.from_provider("vertexai/gemini-3-flash") instructor.from_provider("genai/gemini-3-flash") instructor.from_provider("ollama/llama3.2") 2. 手动配置客户端¶ 你也可以手动配置客户端: 安装所需依赖项: pip install "instructor[provider]" # 例如:instructor[anthropic] 导入服务商客户端并用 Instructor 进行补丁处理: import instructor from provider_package import Client

client = instructor.from_provider(Client()) 结合你的 Pydantic 模型使用补丁后的客户端: response = client.create( response_model=YourModel, messages=[{"role": "user", "content": "你的提示词"}] ) 关于特定服务商的配置和示例,请访问各服务商的文档页面。需要帮助?¶ 如果在特定集成中遇到困难: 查看服务商专属文档 浏览示例和教程 搜索现有的 GitHub 问题 加入我们的 Discord 社区

评论 (0)