基于本地向量库与混合检索的文档 RAG 知识库问答方案

方案简介

这是 Open WebUI 内置的本地 RAG（检索增强生成）方案：以上传的文档构建知识库，对话时通过检索将相关内容注入模型上下文，让模型基于你的私有资料作答。它由 9 种向量数据库支撑，并集成多种内容提取引擎（Tika、Docling、Document Intelligence、Mistral OCR、PaddleOCR-vl、external loaders），支持 BM25 + 向量的混合搜索、重排与全上下文模式。

这套方案适合想在本地/私有环境用自有文档（如内部 wiki、合同、技术手册）构建问答助手的团队：文档不出内网，检索与生成全程可控，且可直接在聊天中引用文档。

亮点与能力

• 9 种向量数据库可选：ChromaDB、PGVector、Qdrant、Milvus、Elasticsearch、OpenSearch、Pinecone、S3Vector、Oracle 23ai
• 多种内容提取引擎：Tika、Docling、Document Intelligence、Mistral OCR、PaddleOCR-vl 及外部加载器
• 混合搜索：BM25 + 向量，支持重排（reranking）
• 全上下文模式（full-context mode）
• # 命令：把文档载入聊天或从文档库拉取
• 网络搜索 RAG：几十个搜索提供商结果直接注入对话，包括 SearXNG、Google PSE、Brave Search、Kagi 等
• 网页浏览能力：# 命令加 URL 拉取网页进聊天，或让模型自行抓取

组成与分工

• Open WebUI：RAG 流程编排者，负责文档入库、检索触发、结果注入对话及 # 命令交互
• 向量数据库（ChromaDB/PGVector/Qdrant/Milvus 等）：存储文档向量，承担语义检索
• Tika / Docling / PaddleOCR-vl 等提取引擎：从 PDF、图片等源文件中提取文本内容供向量化
• BM25：关键词检索通道，与向量检索组成混合搜索
• SearXNG 等搜索提供商：Web Search for RAG 场景下将网络搜索结果注入对话

使用与配置要点

• 在管理设置中选择向量数据库后端（本地可选 ChromaDB，已有 Postgres 可用 PGVector 等）
• 按需配置内容提取引擎，如扫描件多可选用 PaddleOCR-vl / Mistral OCR
• 日常使用：在聊天中用 # 命令加载文档或从文档库拉取资料；混合搜索与重排默认提升召回质量
• 验证成功：上传文档后在对话中提问，确认回答引用了文档内容；也可切换全上下文模式对比效果
• 如需联网补充：配置任一搜索提供商后，搜索结果会直接注入对话

注意事项与常见问题

• 混合搜索（BM25 + 向量）与重排是默认增强检索质量的手段，向量库选择会影响部署复杂度
• OCR 类提取引擎（Document Intelligence、Mistral OCR、PaddleOCR-vl）为可选项，按文档类型选用
• Web Search for RAG 依赖外部搜索提供商，联网检索会把查询发往第三方服务

优缺点

• ✓ 支持 9 种向量数据库灵活选择
• ✓ 混合检索加重排提升召回质量

出处

本方案挖掘自开源项目 open-webui/open-webui，方案内容与实施命令均来自其 README 原文。