第十二集：Seg预处理及模型详解

Aigc工程师

图文教程

当你需要在一张图片中准确的增加物品时，没办法准确的告诉SD如何生成，这时就需要ControlNet功能之一Seg模型

Seg模型

Seg语义分割，Segmentation的完整名称是Semantic Segmentation语义分割，很多时候简称为 Seg

它可以在检测内容轮廓的同时将画面划分为不同区块，并对区块赋予语义标注，从而实现更加精准的控图效果。



观察上图我们可以看到，Seg预处理器检测后的图像包含了不同颜色的板块图，就像现实生活中的区块地图。画面中不同的内容会被赋予相应的颜色，比如地毯被标注为红色、门是绿色、沙发是蓝色等，这样限定区块的方式有点类似局部重绘的效果，在生成图像时模型会在对应色块范围内生成特定对象，从而实现更加准确的内容还原。

针对不同颜色色值表示的含义，我这边已经为大家整理好完整的色值语义标注文档，需要的小伙伴可以在下方获取。



seg颜色对照表链接： 颜色对照表.txt (74 Bytes, 下载次数: 109)

2024-7-23 19:12 上传

点击文件名下载附件

Seg预处理器

Seg提供了三种预处理器可供选择：

OneFormer ADE20k

OneFormer COCO

UniFormer ADE20k

UniFormer ADE20k预处理器

UniFormer是旧算法，但由于实际表现还不错依旧被作者作为备选项保留下来

OneFormer预处理器

新算法OneFormer经过作者团队的训练可以很好的适配各种生产环境，元素间依赖关系被很好的优化，平时使用时建议大家使用默认的OneFormer ADE20k即可



推荐线上预处理器

如果觉得ControlNet的语义分割不够精准或感觉预处理时间太消耗电脑资源，这里给大家推荐一个非常好用的在线语义分割：

1. https://huggingface.co/spaces/shi-labs/OneFormer

复制代码

对比一下本地预处理器，效果是不是更精准？

教学案例



我们需要将地上的抱枕移除，同时让地毯向电视柜延伸长点，生成赛博朋克风格装饰

1.Seg语义分隔

我们通过在线语义分隔，生成预处理图像，再通过PS将地毯的颜色延伸画出，把地上的抱枕用地板色补充，如下图：



2.ControlNet设置



上传处理好的语义分隔图

启用、完美像素、允许预览打勾



控制类型：Segmentation(语义分割)

预处理器：nono，我们已经在线处理过了，所以不需要选择预处理器

模型：seg

点击中间爆炸按键

3.SD基础设置

大模型：选用真实大模型



正向提示词：masterpiece,ultra-detailed,best quality,HD Quality,realistic,cyberpunk,Fluorescent lights,(neon lights),

反向提示词：lowres,error,cropped,worst quality,low quality,jpeg artifacts,out of frame,watermark,signature,blurry,

采样方式：DPM++ 2M Karrae

迭代步数：25

像素（宽高）：和原图相同比例800*506

到这里整个设置就完成了

直接点击生成

一起看下效果图



作业题

拍摄自家的客厅照，通过seg模型转换为赛博朋克风格

参考：教程案例