在 ComfyUI 内集成 LLM 智能助手，自动生成、调试与改写工作流

方案简介

ComfyUI-Copilot 是阿里巴巴国际数字商业集团（AIDC-AI）开源的 AIGC 智能助手，以 ComfyUI 自定义节点的形式嵌入 ComfyUI 框架内，面向文本、图像、音频等多模态内容生成场景，提供节点推荐、工作流构建辅助、模型查询与参数自动优化等能力，让 AI 算法调试与部署更高效。

项目目前已发布 v2.0 版本，从最初的辅助工具升级为「工作流开发助手」，能够自主完成工作流的生成、调试、改写与调参全链路任务。其核心能力包括：

• 🔧 一键 Debug：自动检测工作流中的错误并提供修复建议；
• 🔄 工作流改写：根据用户描述优化结构、修改参数与新增节点；
• 🚀 工作流生成：根据文字描述返回 3 个知识库中的优质工作流与 1 个 AI 生成的工作流，可一键导入 ComfyUI 画布；
• 🧠 智能体架构升级：可感知本地 ComfyUI 环境输出最优解，实现个性化适配；
• 🧪 GenLab 调参工具：按参数范围自动批量执行并可视化对比。

适用人群：ComfyUI 的中高级用户、希望降低工作流搭建门槛的创作者，以及需要批量对比参数效果的算法研究人员。项目依赖新加坡部署的外部接口，并支持配置自有 OpenAI 兼容 API Key 与 Base URL 以继续使用 Agent 能力。

亮点与能力

核心能力（V2.0.0）

• 💎 生成第一版工作流：在输入框输入「我想要一个 xxx 的工作流」，Copilot 返回 3 个知识库中的优质工作流与 1 个 AI 生成的工作流，可一键导入到 ComfyUI 画布开始生图。
• 💎 工作流 Debug：自动分析工作流中的错误，修复参数错误与连接错误，并给出优化建议；若识别缺失模型，会自动提示下载。
• 工作流改写：用户提出不满意之处后，Copilot 帮助在当前画布上新增节点、修改参数、优化工作流结构。
• 💎 GenLab 调参工具：设置参数范围后，系统自动批量执行不同参数组合并生成结果可视化对比，帮助快速找到最优参数配置。
• 节点推荐：根据描述推荐可能需要的节点，并给出推荐理由。
• 节点查询系统：选中画布节点后点击查询按钮，查看说明、参数定义、使用技巧与下游工作流推荐。
• 💎 模型推荐：根据需求查找基础模型与 LoRA；选中画布节点后还可推荐下游子图。
• 💎 智能体环境感知：可感知本地 ComfyUI 环境，输出最优解决方案，实现个性化适配。

组成与分工

组合成员与分工

• ComfyUI：节点式 AIGC 工作流编辑器与运行环境，作为宿主框架。
• ComfyUI-Copilot（自定义节点）：以 custom_nodes 扩展方式嵌入，承担对话面板、节点推荐、工作流生成/调试/改写、GenLab 调参等全部智能能力。
• Git：用于克隆仓库到 custom_nodes 目录，便于后续 git pull 更新到最新代码。
• ComfyUI Manager：可选的插件管理器，提供搜索、安装、更新、卸载自定义节点的可视化界面。
• OpenAI 兼容 API（对话模型 + 工作流生成模型）：提供 LLM 推理能力。系统设置中可配置对话模型与工作流生成模型，并填写用户自己的 API Key 与 Base URL。
• 新加坡部署的后端服务：提供节点信息查询、工作推荐、工作流生成、知识库检索等云端能力；通过 API Key 鉴权，API Key 通过邮件发送激活。

前置要求

环境与依赖

• 系统：Windows / Linux 均可；Windows 用户需使用 portable 版的 python_embeded 解释器路径。
• Python：随 ComfyUI 自带的 Python 3 环境即可。
• ComfyUI：必须已安装并能正常运行。
• Git：用于克隆仓库与 git pull 拉取更新。
• pip：用于安装 requirements.txt 中的依赖。
• 网络环境：本项目依赖部署在新加坡的外部接口，可能需要科学上网工具。
• 邮件账号：用于接收 API Key。
• 可选：自有的 OpenAI 兼容 API Key 与 Base URL（在服务调整后可继续使用 Agent 能力）。

实施步骤

1. 通过 Git 克隆到 ComfyUI 自定义节点目录

进入 ComfyUI 的 custom_nodes 目录，使用 SSH 或 HTTPS 方式克隆仓库：

cd ComfyUI/custom_nodes
git clone git@github.com:AIDC-AI/ComfyUI-Copilot.git

cd ComfyUI/custom_nodes
git clone https://github.com/AIDC-AI/ComfyUI-Copilot

2. 安装依赖

进入克隆后的目录，使用 pip 安装 Python 依赖：

cd ComfyUI/custom_nodes/ComfyUI-Copilot
pip install -r requirements.txt

Windows 用户（使用 ComfyUI 自带便携版 Python）请使用以下命令：

python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-Copilot\requirements.txt

3. （可选）通过 ComfyUI Manager 安装

打开 ComfyUI Manager，点击「自定义节点管理器」，搜索 ComfyUI-Copilot，点击安装，并通过「update」按钮更新到最新版本。

sudo python main.py

注意：使用 Manager 安装时建议以 sudo python main.py 启动，避免权限不足导致报错；若 update 失败，需手动删除或 uninstall 后重新安装。

4. 启动 ComfyUI 并激活 Copilot

启动 ComfyUI 项目后，在左侧面板找到 Copilot 激活按钮以启动其服务。

5. 获取并填写 API Key

点击激活按钮，在弹窗中输入电子邮件地址，API Key 将自动发送到该邮箱。收到后粘贴到输入框，点击保存即可激活 Copilot。

6.（可选）配置自有 OpenAI 模型

点击配置按钮，分别设置「对话模型」与「工作流生成模型」，填入自有 API Key 与 Base URL，保存后即可继续使用 Agent 相关能力（适用于官方 API Key 暂停提供后）。

使用与配置要点

激活后的日常使用

• 生成工作流：在对话框输入「我想要一个 xxx 的工作流」，Copilot 返回 3 个知识库工作流 + 1 个 AI 生成工作流；选中后点击 Accept 即可导入到 ComfyUI 画布。
• Debug 工作流：导入工作流后，点击顶部 Debug 按钮；或直接在当前画布上点击 Debug，对工作流进行错误检测与修复。
• 改写工作流：在输入框描述修改需求，例如「帮我在当前的画布上添加一个 xxx」，Copilot 会修改参数或新增节点。
• 调参（GenLab）：切换到 GenLab Tab，按引导设置参数范围后批量执行不同组合并可视化对比；要求工作流能正常运行才能批量跑图评估。
• 节点查询：选中画布上的节点，点击「节点查询」按钮查看说明、参数与下游推荐。
• 模型推荐：输入「我想要一个生成 xxx 图片的 Lora」，从推荐列表中选取并下载。

验证是否成功

• 左侧面板出现 Copilot 激活按钮并能成功激活；
• 输入框输入任意需求后能收到 Copilot 的回复与可点击的工作流卡片；
• Debug 按钮点击后能返回错误定位与修复建议；
• GenLab Tab 可成功批量跑图并展示对比结果。

注意事项与常见问题

注意事项与限制

• ⚠️ 服务调整公告：由于内部服务审查与升级，节点信息查询、工作推荐、工作流生成三项功能即将停止提供，API 服务已暂停。如需继续使用 Agent 相关能力，请在「设置」页面填写自有 API Key 和 Base URL；其他 Agent 能力不受影响。
• 科学上网：服务部署在新加坡，国内网络环境下可能需要科学上网工具。
• 新模型支持：2025 年 5 月后发布的新模型（如 wan2.2）可能导致 LLM 无法理解并中断，可通过添加「专家经验」辅助。
• 上下文长度控制：工作流改写会携带大量上下文，建议经常点击「清空上下文」按钮控制对话长度，避免中断。
• Manager 安装容易遇到 Bug：官方建议优先使用 Git 方式安装；若 update 报错可先 uninstall 再重装。
• 更新维护：项目持续更新中，建议通过 git pull 或在 ComfyUI Manager 中点击「更新」以获取最新功能。

优缺点

• ✓ 节点推荐与查询降低使用门槛
• ✓ 一键 Debug 自动修复工作流错误
• ✕ 依赖外部服务需科学上网
• ✕ 老服务已停用需自备 API Key

出处

本方案挖掘自开源项目 ATH-MaaS/ComfyUI-Copilot，方案内容与实施命令均来自其 README 原文。