ControlNet

ControlNet

开发框架/库 免费
基于图像边缘/深度等条件控制扩散模型生成图像的方法,由 Zhang Lvmin 提出

搭配玩法

5
查看全部 5 条
ControlNet + ComfyUI ComfyUI+ Clipfly Clipfly + NVIDIA GPU+ SDXL+ FLUX.1-dev+ UNET

在 ComfyUI 单工作流中将不同模型分配到多块 GPU 加载

通过新增 Loader 节点携带 device 参数,把 checkpoint/CLIP/ControlNet/UNet/VAE 各自指向指定 GPU,规避单卡 VRAM 反复换入换出。

✓ 减少模型反复加载卸载✓ 可同时在多卡持有多个模型 ✕ 非并行、流程仍串行执行✕ hacky 方式 monkey patc
ControlNet + OutfitAnyone OutfitAnyone + 姿势引导图像+ 形状引导图像+ ReferenceNet+ Stable Diffusion

虚拟试穿框架结合服装特征与姿势形状引导,无需额外训练即可生成逼真试穿图像。

ReferenceNet处理服装图像保持纹理,姿势形状条件图像通过U-Net去噪实现控制,两者协同生成。

✓ 无需额外训练阶段和参数即可实现姿势控制✓ 支持任意服装、人物、体型和背景
ControlNet + OpenPose OpenPose

提取人体骨架并控制生成,避免多手多脚或手臂扭曲的逻辑错误

OpenPose负责提取人体姿态条件,ControlNet强制生成遵循该结构布局

✓ 关节点位置正确✓ 避免肢体逻辑错误
ControlNet + ComfyUI ComfyUI + Windows 便携版 ComfyUI+ Git+ Python+ SDXL 1.0

在 ComfyUI 中用 base+refiner 双模型工作流生成 SDXL 图像并放大

自定义节点扩展 ComfyUI,集成工作流串联 base 与 refiner 两个检查点完成生成与精修

✓ 一个工作流文件集成全部任务✓ 提供自动化安装脚本 ✕ 依赖多个额外模型文件下载✕ 推荐仅限 Windows 便携版

产品简介

基于图像边缘/深度等条件控制扩散模型生成图像的方法,由 Zhang Lvmin 提出

用户评价

还没有评价
这款产品刚收录,成为第一个评价的人
写第一条评价