第二十集：T2I-Adapter预处理及模型详解

Aigc工程师 · 发表于 2024-7-23 15:18:44

微信扫码快速注册，学习AIGC更多知识

您需要登录才可以下载或查看，没有账号？立即注册

x

图文教程

T2I-Adapter模型

T2I-Adapter模型由TencentARC研发，和ControlNet的模型作用类似，都是可以精准控制图像生成效果，T2I-Adapter的模型可在ControlNet 中使用，而且二者模型功能有重合

T2I-Adapter预处理器

T2I-Adapter预处理器共包含3种预处理器：

t2ia_color_grid

t2ia_sketch_pidi

t2ia_style_clipvision

1.t2ia_color_grid预处理器

t2ia_color_grid预处理器可以将图片处理成颜色像素色块，通过颜色像素色块重新绘制图片

2.t2ia_sketch_pidi

t2ia_sketch_pidi预处理器类似于ControlNet的SoftEdge（软边缘检测）功能

3.t2ia_style_clipvision预处理器

t2ia_style_clipvision预处理器比较有艺术，这个可以将一张图片的风格以及图片的场景一起转移到另外一张图片中，并且不太受提示词约束

但大模型的选择很重要

比方将一张水墨风的风格转移到新的图片，如果选择真实大模型，相对就没那么完善，最好选择二次元风格大模型

经过测试，无论提示词中加入：办公室、公园或森林都是原图水和船的场景，所以提示词的作用略显无力

但反过来我们可以这么理解，可以不需要输入提示词，就能很快将一张图片的风格转移到新的图片中

注意！运行该预处理器可能会报错，因为有个Clip视觉模型需要去huggingface上下载，如果不能科学上网的或无法下载的，我把该模型放到了网盘，大家自行下载后放到下面对应的文件夹

链接：

clip视觉模型.txt (56 Bytes, 下载次数: 96)

提取码：6ek5

每一种预处理器都有对应的模型

这边我把对应的3个模型都整理在百度网盘

方便大家去下载：

模型.txt (56 Bytes, 下载次数: 97)

提取码：w6by

放入文件夹：SD\models\ControlNet

教学实例

T2I-Adapter可以在文生图或图生图中使用，这里以文生图为例

1.ControlNet设置

上传一张美女图到ControlNet中

启用、完美像素、允许预览打勾

控制类型：T2I-Adapter

预处理器：t2ia_color_grid

模型：t2iadapter_color这个在上方百度网盘可以下载，下载放入对应文件夹后记得模型后面点击刷新按键

设置好后点击中间爆炸按键

2.SD基础设置

大模型选择二次元，大家这里可以随意选择自己喜欢的大模型

正向提示词：masterpiece,best quality,official art,extremely detailed,1girl,

发现提示词：EasyNegative,

其他参数可根据自己的喜好设置，没什么特别的

都设置好后直接点击生成

这里可以看出生成的图片就是利用原图处理出来的像素色块进行重新绘制

这样可以让AI可以有更大的绘制空间，而不失去原图的构图和色彩

作业题

找一张素描图，通过文生图快速将这张素描图风格转移到新绘制的图片中