将本地推理、聊天、自动化与图像生成整合为私有AI服务器

方案简介

ODS（Osmantic Deployment System）是一套面向个人电脑、工作站、家庭实验室和私有部署场景的本地 AI 服务器方案。它把 Ollama、Open WebUI、n8n、ComfyUI 及隐私工具等服务安装并连接起来，避免用户逐项搭建推理、聊天、工作流和图像生成组件。方案默认在自有硬件上运行开放模型，用户可以通过浏览器访问聊天界面，并使用统一的控制能力管理模型、服务、安装过程、GPU 状态和扩展。

ODS 适合希望在家中、实验室或工作站使用私有 AI，同时又不想手工维护一组服务的人。它支持 Linux、Windows（WSL2 与 Docker Desktop）和 Apple Silicon macOS。云端并非必需；本地模式是默认方式，云端和混合 API 模式只在用户主动选择时启用。安装完成后，浏览器打开本地 Web UI 即可开始对话。

亮点与能力

• 本地模型推理：在自己的硬件上运行开放模型，提示词和数据默认不离开本机。
• 浏览器聊天：通过 Open WebUI 提供类似 ChatGPT 的 Web 对话体验。
• 统一控制：管理模型、服务、安装流程、GPU 状态和扩展。
• 语音、代理与工作流：支持监听、语音表达、工具调用和自动化工作。
• RAG 与搜索：连接本地文档、私有搜索和检索工作流。
• 本地图像生成：使用本地图像工具，不必把提示词发送到托管 API。
• 隐私与运维：在本地堆栈中集中处理服务认证、密钥、可观测性和诊断。
• 可选云模式：没有 GPU 时仍可使用完整堆栈，并接入 OpenAI、Anthropic 或 Together API。

组成与分工

• Ollama：作为本地模型运行栈的一部分，承载本地开放模型推理。
• llama-server：提供推理服务端点；Linux Docker 安装默认通过 http://localhost:11434 暴露给宿主机，容器内使用 llama-server:8080。
• Open WebUI：提供浏览器访问的聊天界面，默认地址为 http://localhost:3000。
• n8n：承担工作流自动化，是私有 AI 服务器中的工作流组件。
• ComfyUI：承担本地图像生成相关能力。
• Docker：负责服务运行环境；Windows 通过 Docker Desktop 与 WSL2 后端运行。
• 本地硬件：用于运行开放模型和各类本地服务，支持 Linux、Windows 与 Apple Silicon macOS。

前置要求

需要准备一台受支持的平台和正在运行的 Docker。当前支持 Linux（NVIDIA、AMD、Intel Arc）、Windows（NVIDIA、AMD）以及 Apple Silicon macOS。Windows 用户必须使用启用 WSL2 后端的 Docker Desktop，并在普通的非管理员 PowerShell 窗口执行安装块。

Linux 或 macOS 安装命令：

curl -fsSL https://install.osmantic.com/ods.sh | bash

Windows PowerShell 安装命令：

$ProgressPreference = "SilentlyContinue"
$odsSrc = Join-Path $env:TEMP ("ods-install-" + [guid]::NewGuid().ToString("N"))
$odsZip = Join-Path $odsSrc "ods-main.zip"
New-Item -ItemType Directory -Path $odsSrc | Out-Null
Invoke-WebRequest "https://github.com/Osmantic/ODS/archive/refs/heads/main.zip" -OutFile $odsZip
Expand-Archive -LiteralPath $odsZip -DestinationPath $odsSrc -Force
cd (Get-ChildItem -LiteralPath $odsSrc -Directory | Select-Object -First 1).FullName
Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass
.\install.ps1

实施步骤

1. 确认运行平台与容器环境

选择 Linux、Apple Silicon macOS，或启用 WSL2 后端的 Windows Docker Desktop。确保 Docker 已安装并处于运行状态；Windows 使用普通、非管理员 PowerShell。

2. 执行对应安装器

Linux/macOS 在普通终端复制并运行上面的 curl 安装命令。Windows 下载仓库 ZIP，解压后执行 install.ps1。安装器会安装整套 ODS 服务、根据硬件选择模型、启动服务并提供本地 Web UI。

3. 打开本地控制台

安装完成后，在浏览器访问 http://localhost:3000，进入 Open WebUI 并开始聊天。Linux Docker 安装的推理服务默认位于 http://localhost:11434；容器之间使用 llama-server:8080。macOS 原生 Metal 和 Windows 原生/Lemonade 路径默认使用 http://localhost:8080。

4. 按需选择云模式

如果没有 GPU，可从已安装的 ODS 目录执行云模式安装命令：

./install.sh --cloud

该模式保留完整堆栈，并使用 OpenAI、Anthropic 或 Together API 提供推理。

5. 处理端口冲突

如本机 3000 端口已被占用，可在安装时覆盖 Web UI 端口：

WEBUI_PORT=9090 ./install.sh

其他端口可通过环境变量配置，完整变量列表见仓库中的 .env.example。

使用与配置要点

安装成功后，以 Open WebUI 作为日常入口：

• 浏览器访问 http://localhost:3000，开始与本地模型聊天。
• 需要直接检查 Linux Docker 推理服务时，使用默认的 http://localhost:11434；容器内部地址为 llama-server:8080。
• 在 macOS 原生 Metal 或 Windows 原生/Lemonade 路径下，推理服务默认使用 http://localhost:8080。
• 通过控制仪表盘管理模型、服务、安装状态、GPU 状态和扩展。
• 将本地文档接入 RAG 与搜索流程，使用 n8n 组织自动化，使用 ComfyUI 运行本地图像生成。
• 若端口冲突，使用环境变量覆盖端口；示例中 WEBUI_PORT=9090 会将 Web UI 改到 9090。
• 验证方案是否跑通的最低标准是：安装完成后能打开本地 Web UI 并开始聊天。

注意事项与常见问题

• 不要在 Windows PowerShell 中使用 Bash 安装命令：Windows 用户应使用 README 提供的 PowerShell 下载与安装流程。
• Docker 是硬前置条件：Docker 未安装或未启动时，整套服务无法按预期启动。
• GPU 不是绝对前置条件：没有 GPU 时可以使用云模式，但此时推理会使用 OpenAI、Anthropic 或 Together API，而不是完全本地推理。
• 端口可以调整：所有端口都能通过环境变量配置，遇到端口冲突应查看 .env.example 并覆盖对应变量。
• 访问地址随平台变化：Linux Docker、macOS 原生 Metal、Windows 原生/Lemonade 的推理端点不同，不应把一个平台的地址直接套到另一个平台。
• 卸载需使用匹配平台命令。Linux/macOS：

cd ~/ods
./ods-uninstall.sh --force

Windows：

$installDir = "$env:USERPROFILE\ods"
cd $installDir
.\ods.ps1 uninstall --force

• 版本使用建议：当前稳定版本为 v2.6.0；main 更新较快，生产式安装、分支或实验室环境应固定标签版本或经过审计的提交。

优缺点

• ✓ 无需手工拼装多项服务
• ✓ 提示词和数据默认留在本机
• ✕ Windows需WSL2与Docker
• ✕ 无GPU时需切换云模式

出处

本方案挖掘自开源项目 Osmantic/ODS，方案内容与实施命令均来自其 README 原文。