第二四集：ControlNet组合进阶

Aigc工程师

图文教程

上节课我们学习了如何使用组合ControlNet

这节课我们将通过一些实例，来让大家快速掌握ControlNet组合

推荐ControlNet组合

openpose + canny：适合简单背景的人像

oepnpose + canny + depth: 适合有景深的人像

normalbae + lineart：适合存在纹理复杂的图像

lineart + depth：适合边界没那么明显，且有景深的图像（lineart在轮廓不明显的情况下，比canny能更好的识别轮廓）

oepnpose + lineart+ normalbae：可以人像细节增强

案例：openpose+depth精准控制人物在环境中的位置和姿势

现在，我在没有使用ControlNet组合的情况下，让AI绘制一张一个女孩在美丽梦幻的原始深林中跳舞的图片，效果如下：



提示词：A girl dancing in the beautiful and dreamy primitive deep forest

看起来一切都很完美，但是呢，如果我想控制整个构图，比如女孩的的姿态和位置的话，应该怎么办呢？根据前面列举出来的所有ControlNet模型效果可知，背景轮廓可以使用 Depth模型，能根据提供的背景参考图进行三维结构的复刻并重新着色风格化，而女孩的姿态则可以使用openpose模型进行控制

前面的所有案例，都是单个ControlNet模型的使用，而现在这里就可以使用ControlNets组合多个ControlNet模型来控图了

配置第1个ControlNet：用来控制背景的Depth模型

这里先生成一幅美丽梦幻的原始深林作为背景

提示词：Beautiful and dreamy primitive deep forest

打开第一个ControlNet单元Unit 0，上传这张背景图



启用、完美像素模式、允许预览打勾



控制类型：Depth

注意这个控制权重值我调整为0.35，因为如果使用默认值 1 的话，与下面美女姿态的权重相当，最终生成的图片里美女的姿态不可控

点击爆炸按键预处理背景图

配置第2个ControlNet：用来控制女孩位置和姿势的openpose模型

打开第二个ControlNet单元Unit 1，把启动打勾

利用我们前面教过的openpose编辑插件

上传一张我们喜欢的舞蹈姿势图片

读取出骨架图后，可以全选骨架图对骨架图位置及大小进行调整



然后选择“发送到”1，点击发送到 文生图，这样就把这个姿势发送到我们第二个ControlNet单元Unit 1了

或者直接保存为PNG格式



启用、完美像素模式、允许预览打勾



控制类型：OpenPose

注意这里预处理器选择：nono（无），因为我们已经通过OpenPose编辑插件提取了骨架图，这里就不需要进行预处理了

控制权重：1

点击爆炸按键预处理人物姿势图

到这里我们组合ControlNet单元就设置好了

SD基础设置

大模型我们就选一个真实模式



还要原来的提示词

提示词：A girl dancing in the beautiful and dreamy primitive deep forest

其他参数设置可根据之前学习的内容自行选择

那我们一起来看下出图结果：



这样我们就通过Depth模型和OpenPose模型组合ControlNet进行了精准人物位置姿势和背景的控制

总结

组合模式并不是使用的模型越多越好，合适的模型搭配和权重配比很重要

更多ControlNet组合我们会在应用篇会有大量应用实例更新

作业题：

利用canny+depth对下面图片进行还原

提示：depth不要用默认值，调整到0.3-0.8之间

使用插件WD1.4标签器对图片进行提示词提取