方案简介

LAYRA 是一个「视觉原生」AI 自动化引擎，它能像人一样“看”文档，保留版式与图形元素，并以完整 Python 控制执行任意复杂的工作流。其核心配方是：以 ColQwen 2.5 作为本地多模态嵌入模型，把文档转换为语义向量存入 Milvus 向量数据库，构建视觉驱动的 RAG 引擎；后端由 FastAPI 驱动，异步集成 Redis、MySQL、MongoDB、Kafka、MinIO 等中间件以支撑高并发；各服务以独立容器解耦部署，支持按需扩展与故障隔离。该方案适合需要在企业内网部署、拥有 GPU 资源（>16GB 显存）、希望对文档版面信息进行保留式理解与检索的团队，以及想构建复杂、可调试、可嵌套循环的多步 Agent 工作流的开发者。

亮点与能力

• 视觉原生多模态文档理解：文档转图像后嵌入为语义向量，保留版式与图形元素
• 基于 Milvus 的向量检索式 RAG 问答
• 高性能 FastAPI 后端，异步集成多种存储与消息中间件
• 解耦服务架构：独立容器部署，按需扩展、故障隔离
• 支持循环嵌套、条件分支与自定义 Python 逻辑的工作流引擎
• 节点级调试：可视化断点、变量检查、暂停/恢复执行与中途修改状态
• 人在环（Human-in-the-Loop）：关键节点注入用户审批
• 沙箱化任意 Python 执行：支持 pip 安装与 HTTP 请求

组成与分工

• ColQwen 2.5：本地部署的多模态嵌入模型，将文档图像化为语义向量（需 GPU，模型权重约 15GB）
• Milvus：向量数据库，存储嵌入向量并支撑视觉 RAG 检索
• FastAPI：高性能后端框架，编排各服务
• Redis / MySQL / MongoDB / Kafka / MinIO：后端异步集成的存储与消息中间件，支撑高并发
• Docker / Docker Compose：以独立容器形式构建、启动全部服务
• NVIDIA Container Toolkit：使容器可使用本地 GPU 运行 ColQwen

实施步骤

1. 克隆仓库并配置环境变量

bash

Clone the repository

git clone https://github.com/liweiphys/layra.git
cd layra

Edit configuration file (modify server IP/parameters as needed)

vim .env

关键配置项包括 SERVER_IP（服务器 IP）与 MODEL_BASE_URL（模型下载源）。

2. 构建并启动服务（本地 ColQwen 部署）

bash

Initial startup will download ~15GB model weights (be patient)

docker compose up -d --build

Monitor logs in real-time (replace with actual name)

docker compose logs -f

首次启动会下载约 15GB 模型权重，请耐心等待；通过日志确认服务启动完成。

使用与配置要点

部署完成后即可通过 Web 界面使用：首页、知识库（集中文档管理）、交互对话（保留版式的回答）、可视化拖拽工作流构建器（含 MCP 示例）。建议先花 60 分钟阅读官方教程以掌握全部能力。

若 docker compose 命令遇到问题，可尝试带连字符的 docker-compose；并确保使用 Docker Compose v2，可用 docker compose version 检查版本。

注意事项与常见问题

• 本地 ColQwen 部署推荐显存 >16GB 的 GPU；首次启动下载约 15GB 权重，耗时较长
• 不部署本地 ColQwen 时可不配置 NVIDIA Container Toolkit
• 旧版 Docker Compose 可能不支持全部特性，需使用 v2
• 建议先花 60 分钟学习官方教程再上手

优缺点

• ✓ 保留文档版式与图形元素
• ✓ 独立容器可按需扩展
• ✕ 需16GB以上显存GPU
• ✕ 首次启动下载约15GB模型权重

出处

本方案挖掘自开源项目 liweiphys/layra，方案内容与实施命令均来自其 README 原文。