用 Llama 3.2 与 Qdrant 搭建完全本地、无需 API 密钥的 RAG 问答系统

方案简介

Local RAG Agent 是 awesome-llm-apps 仓库 RAG 教程分类下的一条检索增强生成方案。它使用 Llama 3.2 作为本地大语言模型，配合 Qdrant 向量数据库完成检索与问答，整个流程完全在本地机器上运行，不需要任何 API 密钥。适合希望在本地私有环境中对自己的文档进行问答、关注数据隐私、或不想支付云端模型费用的开发者。

亮点与能力

• 完全本地化：模型推理与向量检索均在本地完成
• 无需 API 密钥，无云端依赖
• 基于 Llama 3.2 进行答案生成
• 使用 Qdrant 作为向量数据库进行检索
• 属于 RAG 检索增强生成教程系列，可与其他 RAG 方案对照学习

组成与分工

• Llama 3.2：本地运行的开源大语言模型，负责理解检索到的上下文并生成回答
• Qdrant：向量数据库，负责文档向量存储与相似度检索
• RAG 管道：将检索与生成串联的流程框架，由仓库教程代码提供

前置要求

该方案为本地运行方案，需要：

• 可在本地运行 Llama 3.2 的机器（需要足够内存/显存运行本地 LLM）
• 本地部署 Qdrant 向量数据库
• 克隆仓库代码：

bash
git clone https://github.com/Shubhamsaboo/awesome-llm-apps.git

无需申请任何 API 密钥。

注意事项与常见问题

• 材料明确该方案无需 API 密钥，验证成功的标志是端到端在本地完成检索与问答。
• 同类替代参考：仓库中还有「Llama 3.1 Local RAG」（聊天任意网页、完全离线）与「Deepseek Local RAG Agent」等本地 RAG 方案，可根据需求对照选择。

优缺点

• ✓ 完全本地运行保护隐私
• ✓ 无需 API 密钥零成本

出处

本方案挖掘自开源项目 Shubhamsaboo/awesome-llm-apps，方案内容与实施命令均来自其 README 原文。