Aigc工程师 发表于 2024-7-23 15:18:28

第二一集:IP-Adapter预处理及模型详解

图文教程

IP Adapter是腾讯lab发布的一个新的Stable Diffusion适配器,它的作用是将你输入的图像作为图像提示词,本质上就像MJ的垫图

前面不是也学过一个Reference (参考),到底有什么区别?

IP Adapter比reference的效果要好,而且会快很多,适配于各种stable diffusion模型,还能和controlnet一起用

那么IP-Adapter算法和Stable Diffusion模型结合主要能干哪些有价值的事情呢?

IP-Adapter算法可以同时使用图像提示词和文本提示词,引导图像的生成

IP-Adapter算法可以用于图生图以及局部重绘

IP-Adapter算法与Stable Diffusion和Stable Diffusion XL模型同时适配,并且可以与其他ControlNet模型组合使用(T2I-Adapter)

IP-Adapter一共有两个预处理器,分别是ip-adapter_clip_sd15预处理器(用于SD模型)和ip-adapter_clip_sdxl预处理器(SDXL模型)

IP-Adapter模型一共有三个,分别是:

ip-adapter_sd15:适用于Stable Diffusion 1.5模型

ip-adapter_sd15_plus:适用于 Stable Diffusion 1.5模型,能够细节更丰富的图像提示词,生成的图片和图像提示词的内容和风格更相似

ip-adapter_xl:适用于 Stable Diffusion XL模型

模型下载地址:https://huggingface.co/h94/IP-Adapter/tree/main网盘SD1.5plus模型下载:

链接:

提取码:6bcb

教程案例一:让狗动起来

让坐着的小狗跑起来

https://fszxai.fss-my.addlink.cn/webui/gj/0759.jpg

1.controlnet设置

https://fszxai.fss-my.addlink.cn/webui/gj/0760.png

上传参考图像

启用、完美像素模式、允许预览打勾

https://fszxai.fss-my.addlink.cn/webui/gj/0761.png

控制类型:IP-Adapter

预处理器:ip-adapter_clip_sd15

模型:sd15_plus

ControlNet设置好后点击右边爆炸按键

注意第一次运行可能会报错,因为有个模型需要去huggingface上下载,如果不能科学上网的或无法下载的,我把模型放到了网盘,大家自行下载后放到下面对应的文件夹

https://fszxai.fss-my.addlink.cn/webui/gj/0762.png

链接:

提取码:6ek5

2.SD基本设置

大模型选择

https://fszxai.fss-my.addlink.cn/webui/gj/0763.png

然后在提示词里面输入:一只狗在草地上快乐地奔跑

正向提示词:masterpiece,best quality,official art,extremely detailed,8k wallpaper,a dog was running happily on the grass,

反向提示词:lowres,error,cropped,worst quality,low quality,jpeg artifacts,out of frame,watermark,signature,blurry,

https://fszxai.fss-my.addlink.cn/webui/gj/0764.png

另外,在绘制SD基本参数时,不能勾选“高分辨率修复”

所有参数都设置好后就可以生成了

https://fszxai.fss-my.addlink.cn/webui/gj/0765.jpg

作业题

用IP-Adapter算法对图像元素进行编辑,比如给人物带上帽子
页: [1]
查看完整版本: 第二一集:IP-Adapter预处理及模型详解