第二一集:IP-Adapter预处理及模型详解
图文教程IP Adapter是腾讯lab发布的一个新的Stable Diffusion适配器,它的作用是将你输入的图像作为图像提示词,本质上就像MJ的垫图
前面不是也学过一个Reference (参考),到底有什么区别?
IP Adapter比reference的效果要好,而且会快很多,适配于各种stable diffusion模型,还能和controlnet一起用
那么IP-Adapter算法和Stable Diffusion模型结合主要能干哪些有价值的事情呢?
IP-Adapter算法可以同时使用图像提示词和文本提示词,引导图像的生成
IP-Adapter算法可以用于图生图以及局部重绘
IP-Adapter算法与Stable Diffusion和Stable Diffusion XL模型同时适配,并且可以与其他ControlNet模型组合使用(T2I-Adapter)
IP-Adapter一共有两个预处理器,分别是ip-adapter_clip_sd15预处理器(用于SD模型)和ip-adapter_clip_sdxl预处理器(SDXL模型)
IP-Adapter模型一共有三个,分别是:
ip-adapter_sd15:适用于Stable Diffusion 1.5模型
ip-adapter_sd15_plus:适用于 Stable Diffusion 1.5模型,能够细节更丰富的图像提示词,生成的图片和图像提示词的内容和风格更相似
ip-adapter_xl:适用于 Stable Diffusion XL模型
模型下载地址:https://huggingface.co/h94/IP-Adapter/tree/main网盘SD1.5plus模型下载:
链接:
提取码:6bcb
教程案例一:让狗动起来
让坐着的小狗跑起来
https://fszxai.fss-my.addlink.cn/webui/gj/0759.jpg
1.controlnet设置
https://fszxai.fss-my.addlink.cn/webui/gj/0760.png
上传参考图像
启用、完美像素模式、允许预览打勾
https://fszxai.fss-my.addlink.cn/webui/gj/0761.png
控制类型:IP-Adapter
预处理器:ip-adapter_clip_sd15
模型:sd15_plus
ControlNet设置好后点击右边爆炸按键
注意第一次运行可能会报错,因为有个模型需要去huggingface上下载,如果不能科学上网的或无法下载的,我把模型放到了网盘,大家自行下载后放到下面对应的文件夹
https://fszxai.fss-my.addlink.cn/webui/gj/0762.png
链接:
提取码:6ek5
2.SD基本设置
大模型选择
https://fszxai.fss-my.addlink.cn/webui/gj/0763.png
然后在提示词里面输入:一只狗在草地上快乐地奔跑
正向提示词:masterpiece,best quality,official art,extremely detailed,8k wallpaper,a dog was running happily on the grass,
反向提示词:lowres,error,cropped,worst quality,low quality,jpeg artifacts,out of frame,watermark,signature,blurry,
https://fszxai.fss-my.addlink.cn/webui/gj/0764.png
另外,在绘制SD基本参数时,不能勾选“高分辨率修复”
所有参数都设置好后就可以生成了
https://fszxai.fss-my.addlink.cn/webui/gj/0765.jpg
作业题
用IP-Adapter算法对图像元素进行编辑,比如给人物带上帽子
页:
[1]