第二四集:ControlNet组合进阶
图文教程上节课我们学习了如何使用组合ControlNet
这节课我们将通过一些实例,来让大家快速掌握ControlNet组合
推荐ControlNet组合
openpose + canny:适合简单背景的人像
oepnpose + canny + depth: 适合有景深的人像
normalbae + lineart:适合存在纹理复杂的图像
lineart + depth:适合边界没那么明显,且有景深的图像(lineart在轮廓不明显的情况下,比canny能更好的识别轮廓)
oepnpose + lineart+ normalbae:可以人像细节增强
案例:openpose+depth精准控制人物在环境中的位置和姿势
现在,我在没有使用ControlNet组合的情况下,让AI绘制一张一个女孩在美丽梦幻的原始深林中跳舞的图片,效果如下:
https://fszxai.fss-my.addlink.cn/webui/gj/0783.jpg
提示词:A girl dancing in the beautiful and dreamy primitive deep forest
看起来一切都很完美,但是呢,如果我想控制整个构图,比如女孩的的姿态和位置的话,应该怎么办呢?根据前面列举出来的所有ControlNet模型效果可知,背景轮廓可以使用 Depth模型,能根据提供的背景参考图进行三维结构的复刻并重新着色风格化,而女孩的姿态则可以使用openpose模型进行控制
前面的所有案例,都是单个ControlNet模型的使用,而现在这里就可以使用ControlNets组合多个ControlNet模型来控图了
配置第1个ControlNet:用来控制背景的Depth模型
这里先生成一幅美丽梦幻的原始深林作为背景
提示词:Beautiful and dreamy primitive deep forest
打开第一个ControlNet单元Unit 0,上传这张背景图
https://fszxai.fss-my.addlink.cn/webui/gj/0784.png
启用、完美像素模式、允许预览打勾
https://fszxai.fss-my.addlink.cn/webui/gj/0785.png
控制类型:Depth
注意这个控制权重值我调整为0.35,因为如果使用默认值 1 的话,与下面美女姿态的权重相当,最终生成的图片里美女的姿态不可控
点击爆炸按键预处理背景图
配置第2个ControlNet:用来控制女孩位置和姿势的openpose模型
打开第二个ControlNet单元Unit 1,把启动打勾
利用我们前面教过的openpose编辑插件
上传一张我们喜欢的舞蹈姿势图片
读取出骨架图后,可以全选骨架图对骨架图位置及大小进行调整
https://fszxai.fss-my.addlink.cn/webui/gj/0786.png
然后选择“发送到”1,点击发送到 文生图,这样就把这个姿势发送到我们第二个ControlNet单元Unit 1了
或者直接保存为PNG格式
https://fszxai.fss-my.addlink.cn/webui/gj/0787.png
启用、完美像素模式、允许预览打勾
https://fszxai.fss-my.addlink.cn/webui/gj/0788.png
控制类型:OpenPose
注意这里预处理器选择:nono(无),因为我们已经通过OpenPose编辑插件提取了骨架图,这里就不需要进行预处理了
控制权重:1
点击爆炸按键预处理人物姿势图
到这里我们组合ControlNet单元就设置好了
SD基础设置
大模型我们就选一个真实模式
https://fszxai.fss-my.addlink.cn/webui/gj/0789.png
还要原来的提示词
提示词:A girl dancing in the beautiful and dreamy primitive deep forest
其他参数设置可根据之前学习的内容自行选择
那我们一起来看下出图结果:
https://fszxai.fss-my.addlink.cn/webui/gj/0790.jpg
这样我们就通过Depth模型和OpenPose模型组合ControlNet进行了精准人物位置姿势和背景的控制
总结
组合模式并不是使用的模型越多越好,合适的模型搭配和权重配比很重要
更多ControlNet组合我们会在应用篇会有大量应用实例更新
作业题:
利用canny+depth对下面图片进行还原
提示:depth不要用默认值,调整到0.3-0.8之间
使用插件WD1.4标签器对图片进行提示词提取
https://fszxai.fss-my.addlink.cn/webui/gj/0791.jpg
页:
[1]