Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

2023年08月28日06:48:50 发表评论 热度1,733 ℃

ComfyUI 是一个基于节点流程式的stable diffusion AI 绘图工具WebUI,界面版块基本和stable diffusion一样,只是每个版块被拆分成节点,可以灵活控制连接,这样的工作流和完善的可复现性,用户可以精准的控制每个版块的设置,达到控制变量的目的,但节点式的工作流也提高了一部分使用门槛。用过3D渲染的同学应该对这种节点控制的布局很熟悉。


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

方便大家看,我把板块调整为竖版,有一定SD基础的同学可以看到这其实就是SD的界面板块打散:


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

ComfyUI有以下特点:

优点:

1.上限高,更适合复杂长线的大型工作

2模块化工作流

3.可视化

4.启动速度快、运行速度快

5.对硬件无要求,CPU可运行

6.可排队运行任务

7.工作流只需搭建一次可直接保存

8.是根据SD原理直接建立的操作界面

9.可以自己设计需要的模块和模组,代码友好

10.ctrlnet等主流插件都支持。还提供webui无法支持的功能,比如接通ChatGPT、翻译等的特殊模块组,

缺点(相信以后会慢慢完善的):

1.上手难度高

2.一些插件还未被写成运行模块

二、ComfyUI下载安装

原生网址:https://github.com/comfyanonymous/ComfyUI

B站UP主ZHO大佬的汉化包:https://github.com/ZHO-ZHO-ZHO/ComfyUI-ZHO-Chinese

今天是直接用到的ZHO的汉化包,有精简版和标准版,我用的是标准版,此安装包文末领取。


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

注意:为了控制压缩包的大小,整合包内没有放置SD模型,

需要自己把模型到modelscheckpoints里,或选择与WebUI模型路径共享),如果已经部署SD了,可以通过路径共享,方法是:

1、在ComfyUl文件夹中找到extra model paths.yamlexample文件右键用记事本打开文件;


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

2、把里面“path/to/stable-diffusion-webui/”换成你放置WebU模型的文件夹路径(路径中不要出现中文),切记,要改为SD的根目录


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

3、点击文件-保存;

4、关闭文件,右键重命名文件,把名称中的.example去掉,变为extra model paths.yaml。重启之后,主模型加载器就会自动加载到模型。


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

安装好了之后,可以启动了,这里有两种启动方式:

1、CPU启动;

2、GPU英伟达显卡启动,显卡好的话就用这个。


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

另外,后期Comfy更新升级可以用,主目录下的update文件夹里面的升级脚本升级。


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

二、ComfyUI基础流程

启动后,界面是空白的,模块没有在界面上显示,需要自定义添加。


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

这时候有两种方法可以执行,推荐第二种。

1、鼠标右键,自主添加生成图片需要的模块;


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

可以直接用ZHO汉化的模块组:


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

界面上就会弹出对应的窗口,刚刚加的是主模型加载器。


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

也可以鼠标双击界面,弹出搜索窗口,直接搜索常用版块:


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

一般会有主模型/提示词(clip模型)/采样器/初始潜空间(参数设置)/VAE解码器/图像保存。

通过节点把每一个板块连接起来,鼠标点住节点不松,拖拽就会分裂衍生一个节点,以串联下一个节点。


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

2、直接加载现有的工作流


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

安装包里面准备了一些个人的工作流,当然我们也可以自己设置好,保存工作流,下次直接使用,下面是直接加载默认工作流后的界面。


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

工作流确认好了之后,就可以生成图片了,这边用的是文生图,那先试一下生成一只猫:

1、确认模型:


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

2、简单写一下提示词:


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

3、设置尺寸和批次:


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

4、设置采样等参数


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

可以看到这里多了一个降噪的参数设置

5、设置图形名称相关的


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

6、点击右下角生成


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

图片保存在这里:Zho_Chinese_ComfyUI_windows_portableComfyUIoutput


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

设置流程基本上和SD一样,速度会相对快很多。

三、其他补充说明

1、设置按钮


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

可以根据个人需求做一些调整:


Stable Diffusion | SD的老舅ComfyUI来了,节点式工作流,分部控制出图

2、快捷指令

按键绑定 说明
Ctrl + Enter 将当前图形排队以供生成
Ctrl + Shift + Enter 将当前图形排列为第一个生成图形
Ctrl + S 保存工作流程
Ctrl + O 加载工作流
Ctrl + A 选择所有节点
Ctrl + M 禁用/取消禁用选定节点
删除/退格 删除选定的节点
ctrl+Delete/退格键 删除当前图形
Space 按住并移动光标时,四处移动画布
Ctrl/Shift +单击 将单击的节点添加到选择中
Ctrl + C/Ctrl + V 复制并粘贴选定的节点(不保持与未选定节点输出的连接)
Ctrl + C/Ctrl + Shift + V 复制并粘贴选定的节点(保持未选定节点的输出与粘贴节点的输入之间的连接)
Shift +拖动 同时移动多个选定的节点
Ctrl + D 加载默认图表
Q 切换队列的可见性
H 切换历史的可见性
R 刷新图表
双击LMB 打开节点快速搜索选项板

对于macOS用户,Ctrl也可以替换为Cmd

3、提示词权重

使用()来更改单词或短语的权重,如:(prompt:1.2)或(promp:0.8)。()的默认强调值为1.1倍。要在实际提示中使用()字符,请像(或)一样对它们进行转义。

对于通配符/动态提示,可以使用{day|night}。对提示进行排队时,前端会随机将“{wild|card|test}”替换为“wild”、“card”或“test”。要在实际提示中使用{}个字符,请像:{或}那样转义它们。

关于ComfyUI的入门介绍就先到这里,后面再做详细的应用操作分析那个,大家赶紧试一下吧。

也许有人会说连SD还没摸清楚,一下子出来这么多,哪里学得完啊,其实多种同类型的软件的竞争,恰恰会促进产品的体验和功能升级,受益的还是我们玩家,在深度学习某个适合自己的软件的时候,适当的了解一下同类型的产品,还是可以扩展一下自己的思维宽度的。

本文最后更新于:2023-09-06 17:34
瓜皮猪

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: