|
|
微信扫码快速注册,学习AIGC更多知识
您需要 登录 才可以下载或查看,没有账号?立即注册
x
图文教程
IP Adapter是腾讯lab发布的一个新的Stable Diffusion适配器,它的作用是将你输入的图像作为图像提示词,本质上就像MJ的垫图
前面不是也学过一个Reference (参考),到底有什么区别?
IP Adapter比reference的效果要好,而且会快很多,适配于各种stable diffusion模型,还能和controlnet一起用
那么IP-Adapter算法和Stable Diffusion模型结合主要能干哪些有价值的事情呢?
IP-Adapter算法可以同时使用图像提示词和文本提示词,引导图像的生成
IP-Adapter算法可以用于图生图以及局部重绘
IP-Adapter算法与Stable Diffusion和Stable Diffusion XL模型同时适配,并且可以与其他ControlNet模型组合使用(T2I-Adapter)
IP-Adapter一共有两个预处理器,分别是ip-adapter_clip_sd15预处理器(用于SD模型)和ip-adapter_clip_sdxl预处理器(SDXL模型)
IP-Adapter模型一共有三个,分别是:
ip-adapter_sd15:适用于Stable Diffusion 1.5模型
ip-adapter_sd15_plus:适用于 Stable Diffusion 1.5模型,能够细节更丰富的图像提示词,生成的图片和图像提示词的内容和风格更相似
ip-adapter_xl:适用于 Stable Diffusion XL模型
模型下载地址:- https://huggingface.co/h94/IP-Adapter/tree/main
复制代码 网盘SD1.5plus模型下载:
链接:
模型.txt
(58 Bytes, 下载次数: 104)
提取码:6bcb
教程案例一:让狗动起来
让坐着的小狗跑起来

1.controlnet设置

上传参考图像
启用、完美像素模式、允许预览打勾

控制类型:IP-Adapter
预处理器:ip-adapter_clip_sd15
模型:sd15_plus
ControlNet设置好后点击右边爆炸按键
注意第一次运行可能会报错,因为有个模型需要去huggingface上下载,如果不能科学上网的或无法下载的,我把模型放到了网盘,大家自行下载后放到下面对应的文件夹

链接:
clip模型.txt
(56 Bytes, 下载次数: 99)
提取码:6ek5
2.SD基本设置
大模型选择

然后在提示词里面输入:一只狗在草地上快乐地奔跑
正向提示词:masterpiece,best quality,official art,extremely detailed,8k wallpaper,a dog was running happily on the grass,
反向提示词:lowres,error,cropped,worst quality,low quality,jpeg artifacts,out of frame,watermark,signature,blurry,

另外,在绘制SD基本参数时,不能勾选“高分辨率修复”
所有参数都设置好后就可以生成了

作业题
用IP-Adapter算法对图像元素进行编辑,比如给人物带上帽子 |
|