第5章 Instructor 核心概念
Instructor 核心概念¶ 本章节按类别整理并讲解 Instructor 库的核心概念与特性,方便你快速找到所需内容。
核心概念¶ 以下是有效使用 Instructor 必须了解的基础概念: - 模型:使用 Pydantic 模型定义输出结构 - 补丁机制:解释 Instructor 如何为 LLM 客户端应用补丁 - from_provider:创建客户端的统一接口,支持所有提供商 - 迁移指南:从旧模式迁移到 from_provider - 类型:处理模型中不同的数据类型 - 验证:根据模型验证 LLM 输出 - 提示词:创建用于结构化输出提取的有效提示词 - 多模态:处理音频文件、图像和 PDF
数据处理与结构¶ 这些概念涉及不同数据结构的定义与处理: - 字段:处理 Pydantic 字段和属性 - 列表与数组:在模型中处理列表和数组 - TypedDict:使用 TypedDict 实现灵活的类型化 - 联合类型:处理联合类型 - 枚举:在模型中使用枚举类型 - 缺失值:处理缺失或可选的值 - 别名:创建字段别名 - 引用:从源文本中提取并验证引用
流式特性¶ 这些特性助你处理流式响应: - Stream Partial:流式传输部分完成的响应 - Stream Iterable:流式传输已完成对象的集合 - Raw Response:访问原始的 LLM 响应
错误处理与验证¶ 这些特性助你确保数据质量: - 重试:配置自动重试行为 - 验证器:定义自定义验证逻辑 - 钩子:添加用于监控和调试的回调
性能优化¶ 这些特性助你优化性能: - 缓存:缓存响应以提升性能 - 提示词缓存:缓存提示词以减少 token 使用量 - Usage Tokens:跟踪 token 使用情况 - 并行工具:并行运行多个工具 - 字典操作:针对字典操作的性能优化
集成特性¶ 这些特性助你与其他技术集成: - FastAPI:与 FastAPI 集成 - 类型适配器:与 Instructor 配合使用 TypeAdapter - 模板:使用模板生成动态提示词 - 蒸馏:为生产环境优化模型
设计理念¶ - 设计理念:阐述 Instructor 背后的指导原则
这些概念如何协同工作¶ Instructor 建立在几个协同工作的关键理念之上: 1. 用 Pydantic 定义结构:使用 Pydantic 模型明确定义所需数据。 2. 用 from_provider 创建客户端:利用统一接口为任意提供商创建客户端。 3. 验证与重试:自动验证响应,必要时进行重试。 4. 处理流:处理流式响应以实现实时更新。
典型工作流程¶ sequenceDiagram participant User as 你的代码 participant Instructor participant LLM as LLM 提供商
User->>Instructor: 定义 Pydantic 模型 User->>Instructor: 使用 from_provider 创建客户端 User->>Instructor: 调用 create() 并传入 response_model Instructor->>LLM: 发送结构化请求 LLM->>Instructor: 返回 LLM 响应 Instructor->>Instructor: 根据模型进行验证
alt 验证成功 Instructor->>User: 返回已验证的 Pydantic 对象 else 验证失败 Instructor->>LLM: 携带错误上下文重试 LLM->>Instructor: 返回新响应 Instructor->>Instructor: 再次验证 Instructor->>User: 返回已验证对象或错误 end
下一步阅读¶ - 如果你是 Instructor 新手,请从“模型”和“from_provider”开始阅读 - 如果你正在从旧模式迁移,请参阅“迁移指南” - 如果你遇到验证问题,查看“验证器”和“重试” - 如果是流式应用,阅读“Stream Partial”和“Stream Iterable” - 若要优化应用程序,请关注“缓存”和“Usage Tokens”
这些概念的实际示例,请访问 Cookbook 章节。
参见 - 入门指南:开启你的 Instructor 之旅 - 示例:这些概念的实际实现 - 集成:连接不同的 LLM 提供商