第十一集:5种模型类型详解
图文教程不同模型的说明
安装程序会内置好基本的模型,如果自己去下载模型,就会发现有各种不同类型的模型。
具体模型类型有checkpoint、Textual lnversion、Hypernetwork、Aesthetic Gradient、LoRA、LyCORIS、Controlnet、Poses、wildcards等等,看得人眼花缭乱。
在SD中目前共有 5 种模型
主模型大模型(单独使用):Checkpoint
辅助模型(配合底模使用):Embedding,LoRA,Hypernetwork
美化模型:VAE
下面我会带大家一个个去了解这些模型具体的认知。
Checkpoint模型/主模型/大模型/底模型
https://fszxai.fss-my.addlink.cn/webui/0483.jpg
Checkpoint模型是SD能够绘图的基础模型,因此被称为大模型、底模型或者主模型,WebUI上在左上角位置就叫它Stable Diffusion模型。安装完SD软件后,必须搭配主模型才能使用。不同的主模型,其画风和擅长的领域会有侧重,如真写实、二次元、卡通盲盒等。
Checkpoint模型一般体积都比较大,包含生成图像所需的一切,不需要额外的文件。
常见文件模式:尾缀ckpt、safetensors
文件大小:2G-7G
下载的大模型可放置于 SD 文件夹/models/Stable-diffusion文件夹内。
模型切换 需选择上方图片红框内右侧下拉图标点选需要的大模型。
大模型推荐:majicMIX realistic\国风3\Anything V5
https://fszxai.fss-my.addlink.cn/webui/0484.jpg
LoRA辅助模型
LoRA是微调模型,体积较小,是基于某个确定的角色、确定的风格或者固定的动作训练而成的模型,必须与Checkpoint模型一起使用,可使用权重控制。
多个LoRA模型混合使用可以起到叠加效果,比如一个控制面部的LoRA配合一个控制画风的LoRA就可以生成具有特定画风的特定人物。因此可以使用多个专注于不同方面优化的LoRA,分别调整权重,结合出自己想要实现的效果。
常见文件模式:尾缀ckpt、safetensors、pt
文件大小:10M-200M
下载的大模型可放置于 SD 文件夹/models/Lora文件夹内。
模型使用方法
https://fszxai.fss-my.addlink.cn/webui/0485.jpg
LoRA模型推荐:墨心MoXin\Korean Doll Likeness\Cute Girl mix 2
https://fszxai.fss-my.addlink.cn/webui/0486.jpg
VAE美化模型
VAE,全名Variational autoenconder,中文叫变分自编码器。
作用是:滤镜+微调,滤镜就是每个VAE的色彩饱和度不同,微调就是图片中部分内容会有细微变化,但一般不影响主要元素。
大部分大模型是会自带VAE的,比如Chilloutmix。如果再加VAE则可能画面效果不会更好,甚至适得其反。
系统自带的VAE是animevae,效果一般,建议可以使用vae-ft-mse-840000-ema-pruned,这个模型本站安装包都是自带安装的。这里可以一般采用默认的选项,如果出来的图发灰,再考虑使用VAE模型。
常见文件模式:尾缀ckpt、pt
文件大小:200M-800M
下载的大模型可放置于 SD 文件夹/models/VEA文件夹内。
模型使用方法
https://fszxai.fss-my.addlink.cn/webui/0487.png
WebUI上在上方主模型右侧位置“外挂 VAE 模型”下拉框选择我们需要的模型。
这里可以一般采用默认的选项,如果出来的图发灰,再考虑使用VAE模型。
VAE模型推荐:系统自带的VAE是animevae,效果一般,建议可以使用vae-ft-mse-840000-ema-pruned,这个模型本站安装包都是自带安装的。
Embedding文本反转模型
Embeddings/Textual lnversion中文翻译过来叫文本反转,Embeddings是定义新关键字以生成新人物或图片风格的小文件。体积很小,必须将它们与checkpoint模型一起使用。
Embeddings由于训练简单,文件小,因此一度很受大家欢迎。
作用是:提示词打包,意思就是用一个词打包实现N个提示词的效果,很高效。
常见文件模式:尾缀pt
文件大小:10K-100K
下载的大模型可放置于 SD 文件夹/embeddings/文件夹内。
模型使用方法
Embeddings使用方法很简单,在安装之后,只要在提示词中提到它就相当于调用了,很方便。
https://fszxai.fss-my.addlink.cn/webui/0488.png
这里可以查看我们安装的Embeddings模型。
Embeddings模型推荐:EasyNegative里面包含了大量的负面词,可以减少你每次打一堆负面词的痛苦。本站安装的SD自带该模型。
Hypernetworks超网格模型
Hypernetworks是Stable Diffusion的早期采用者,和LoRA类似,用户普遍发现 LoRA 模型产生更好的结果,所以目前已经很少使用。
常见文件模式:尾缀pt
文件大小:30M-300M
下载的大模型可放置于 SD 文件夹/models/hypernetworks文件夹内。
页:
[1]