Qwen3-VL + ComfyUI ComfyUI + Apache-2.0 节点代码+ consumer-GPU+ Krea 2+ Krea 2 Identity Edit LoRA

在 ComfyUI 中将 Krea 2 变成指令式图像编辑器

源图同时以 VAE latent 和 Qwen3-VL 文本编码两种方式注入,与 LoRA 训练方式一致

✓ 无额外 Python 依赖✓ Turbo 8步 CFG1 约1分钟 ✕ CFG>1 需特殊负向编码✕ 生成需 ≤2MP

方案简介

ComfyUI-Krea2Edit 是一个 ComfyUI 自定义节点包,让 Krea 2(Raw 或 Turbo)模型具备指令式图像编辑能力。它驱动 Krea 2 Identity Edit LoRA,将源图像同时作为 VAE latent token(外观)和注入 Qwen3-VL 文本编码器(语义接地)进行双重条件化,与 LoRA 的训练方式完全一致。适合已使用 ComfyUI 并想用指令(如 "recolor the car to matte black")编辑图像的用户。训练代码同样公开(krea2edit-trainer),并在消费级 GPU 上有实测 VRAM 需求。

亮点与能力

  • 两个核心节点(Krea2EditModelPatchKrea2EditGroundedEncode)必须同时使用,缺一不可
  • 支持双参考图编辑(如人物 + 场景)
  • v1.2 提供更好的面部相似度、新的 fit 参考几何和 ref_boost 保真度旋钮
  • Turbo 模型 8 步 CFG 1 快速路径(约 1 分钟 @ 2MP)适用于大多数编辑
  • Raw 模型 CFG 3 约 20 步适用于移除类编辑
  • 像素路径抗模糊,源图像在像素空间拟合到目标网格
  • 支持两种参考几何模式:fit(v1.2)与 crop(旧版)

组成与分工

  • ComfyUI:节点运行环境,需支持原生 Krea 2 的版本
  • Krea 2 (Raw / Turbo):被 patch 的扩散模型本体
  • Qwen3-VL 4B:Krea 2 使用的文本编码器,用于图像接地指令编码
  • Krea 2 Identity Edit LoRA (krea2_identity_edit_v1_2.safetensors):赋予模型编辑能力的权重,需通过 LoraLoaderModelOnly 加载
  • VAE:将源图编码为 latent,供外观条件注入
  • KSampler:采样器,接收 patch 后的模型与接地编码后的正向/负向条件

前置要求

  • 支持 Krea 2 的 ComfyUI 版本
  • Krea 2 模型(Raw 或 Turbo)
  • Krea 2 所用的 Qwen3-VL 4B 文本编码器
  • Krea 2 Identity Edit LoRA(krea2_identity_edit_v1_2.safetensors
  • 无额外 Python 依赖

安装:
bash
cd ComfyUI/custom_nodes
git clone https://github.com/lbouaraba/comfyui-krea2edit

restart ComfyUI

使用与配置要点

  • 快路径:Turbo、8 步、CFG 1,适用于 recolor、add/insert、属性更改、风格重绘、场景转换等多数编辑
  • 移除类编辑:用 Raw 模型 CFG 3、约 20 步;Turbo 在 CFG 1 下通常会重绘主体而非移除
  • CFG > 1 时:负向也要接地——用第二个 Krea2EditGroundedEncode、空提示、同一图像(训练时的无条件)
  • grounding_px:默认 768(v1.2 训练范围 384–768,1024+ 通常也行);低值增强编辑服从性,高值增强身份相似度,人物试 1024,顽固场景更改试 512
  • ref_boost:>1 更贴近参考外观,<1 放松;ref_boost_a 用于双参考编辑中的场景参考
  • fit_mode:默认 fit(v1.2 训练匹配的居中偏移重采样);crop 为 v1/v1.1 旧几何,配合旧权重使用
  • 双参考编辑:场景图接 source_latent/image,主体图接 source_latent_b/image_b;单图时 b 输入留空

注意事项与常见问题

  • 宽高比:使用 fit_mode: fit 且连接 vae+source_image 时可处理源/输出比例不匹配;用 crop/旧权重时仍需匹配 AR,不匹配会超出分布并降低身份保持
  • 生成分辨率 ≤2MP,超出训练范围源内容可能渗入输出或主体复制
  • 两个不同人物:将两个参考放在同一次 pass(主输入 + _b 输入),比串联多次编辑更可靠;面部分离仍不完美
  • target_latent 接线:像素路径需在输出分辨率下 VAE 编码源图;不接 target_latent 时编码会落在采样中间,导致 ComfyUI 部分卸载已加载内容(包括采样器),之后每步从 CPU 流式加载权重。接上后编码移到节点执行时,恢复正常 VAEEncode → KSampler 顺序。编码反正会缓存,这只是时机问题——但接上是免费的
  • 控制台提示:[krea2edit] pre-encoding sources at target ... 表示好路径;[krea2edit] NOTE: connect 'target_latent' ... 表示编码会落在采样中
  • 性能测量要在 20+ 步上做,1 步几乎全是固定开销,看不出差异
  • 替代方案:把源图精确缩放到输出分辨率只喂 source_latent,匹配分辨率下 latent 路径无重采样
  • 许可:节点 Apache-2.0;Krea 2 Identity Edit 权重按 Krea 2 Community License 单独分发

优缺点

  • ✓ 无额外 Python 依赖
  • ✓ Turbo 8步 CFG1 约1分钟
  • ✕ CFG>1 需特殊负向编码
  • ✕ 生成需 ≤2MP

出处

本方案挖掘自开源项目 lbouaraba/comfyui-krea2edit,方案内容与实施命令均来自其 README 原文。

方案出处
lbouaraba/comfyui-krea2edit:Instruction-based, identity-preserving image editing for Krea 2 in ComfyUI — nod
608 star Instruction-based, identity-preserving image editing for Krea 2 in ComfyUI — nodes + workflows for the Krea 2 Identity Edit LoRA

本方案由真实开源项目挖掘整理,实施命令均来自其 README 原文,安装使用请遵循项目开源协议。