Aigc工程师 发表于 2024-9-4 10:04:50

instantid风格化表情控制高级换脸

图文教程

前面一些课程我们学习过通过IP适配以及快速Insightface进行人物的换脸。

今天我给大家介绍的这款换脸插件无论在效果方面还是在ComfyUI支持方面都完全吊打之前学的那二种换脸方式。

InstantID简介

InstantID是一种最先进的无需调整的新方法,只需单个图像即可实现面部ID保留完成换脸,并支持各种下游任务。

并且有原生的ComfyUI-InstantID扩展支持。

该扩展与现有的许多扩展不同,因为它不使用diffusers,而是以本机方式实现InstantID,并与ComfyUI完全集成。

InstantID比较优越的特点包括:

人脸融合效果比较好且真实

对提示词没那么太大污染,能更好的理解提示词

支持各种风格

可以控制面部的朝向和表情

我们可以来看一组通过杨幂照片生成的图片




我们可以看到在不同的面部方向都是比较像杨幂的,而且可以任意更改头发的颜色甚至风格等

InstantID安装

第一步:扩展安装

可以通过管理器搜索“ComfyUI InstantID”找到以下扩展直接安装,或者到官网进行手动安装。

https://fszxai.fss-my.addlink.cn/comfy/sp/141.png

第二步:insightface环境配置

如果之前成功安装过“ReActor Node”扩展的可忽略,如果没有安装过前往学习 点这里 。

第三步:模型安装

主要参考模型 ip-adapter.bin 放置到ComfyUI\models\instantid 目录下,如果没有instantid文件夹自己新建一个。

antelopev2面部分析模型,将下载好的antelopev2解压缩, 换脸模型antelopev2 文件夹整个拷贝到ComfyUI\models\insightface\models 目录下。

https://fszxai.fss-my.addlink.cn/comfy/sp/142.png

控制模型 diffusion_pytorch_model.safetensors 放置到 ComfyUI\models\controlnet 目录中。

到这里我们就成功安装好InstantID扩展了。

但请记住目前这仅适用于SDXL。

https://fszxai.fss-my.addlink.cn/comfy/sp/143.png

一. 【Apply InstantID】节点

该节点就是我们InstantID主节点了

1.输入部分

InstantId 输入我们的主模型 ip-adapter.bin

insightface 输入面部分析模型

control_net 输入控制模型 diffusion_pytorch_model.safetensors

image 输入目标面部图像,也就是我们想换成谁的脸,注意这里可以通过【图像组合批次】连接多张相同人物面部,理论上图片数量越多效果越好

https://fszxai.fss-my.addlink.cn/comfy/sp/144.png

model 输入SDXL大模型(目前仅支持SDXL模型)

positive 输入正面提示词

negative 输入负面提示词

image_kps 输入目标面部朝向图片,意思就是我们希望生成图片的面部朝向可以由这张图片控制,下面是通过一组面部朝向图控制生成的图片

https://fszxai.fss-my.addlink.cn/comfy/sp/145.png

mask 输入遮罩关注点,这个在后面高级应用中我会讲到

2.输出部分

model 输出模型一般输出到K采样器

positive 输出正面提示词

negative 输出负面提示词

3.组件部分

weight 权重大小,包括面部特征、面部表情和面部朝向权重大小,数值越大越相似但也会出现一些噪点和提示词的污染,尽量控制在0.8-1

https://fszxai.fss-my.addlink.cn/comfy/sp/146.png

start_at 起始InstantId控制值

ent_at 结束InstantId控制值,该值作为百分比值0代表0%,0.5代表50%,1代表100%,这个和我们用controlnet应用的控制值是一样的

二. 采样器

这里主要关注CFG的调整,CFG值需要设置在4-5之间

三.提示词相关

我们可以通过修改提示词来达到更改图片效果的目的,这个不同于IP适配对提示词污染很严重,如下图就是通过输入不同颜色头发的效果

https://fszxai.fss-my.addlink.cn/comfy/sp/147.png

这节课主要讲了InstantId的介绍、ComfyUI InstantId安装以及节点详解和基础工作流

下面几节课将讲解更多关于InstantId的高级应用

static/image/hrline/1.gif

instantid官网地址:https://github.com/InstantID/InstantID

instantid插件官网地址:https://github.com/cubiq/ComfyUI_InstantID

static/image/hrline/1.gif

模型百度夸克网盘下载:







static/image/hrline/1.gif

工作流下载:

static/image/hrline/1.gif


页: [1]
查看完整版本: instantid风格化表情控制高级换脸