instantid风格化表情控制高级换脸

Aigc工程师 · 发表于 2024-9-4 10:04:50

微信扫码快速注册，学习AIGC更多知识

您需要登录才可以下载或查看，没有账号？立即注册

x

图文教程

前面一些课程我们学习过通过IP适配以及快速Insightface进行人物的换脸。

今天我给大家介绍的这款换脸插件无论在效果方面还是在ComfyUI支持方面都完全吊打之前学的那二种换脸方式。

InstantID简介

InstantID是一种最先进的无需调整的新方法，只需单个图像即可实现面部ID保留完成换脸，并支持各种下游任务。

并且有原生的ComfyUI-InstantID扩展支持。

该扩展与现有的许多扩展不同，因为它不使用diffusers，而是以本机方式实现InstantID，并与ComfyUI完全集成。

InstantID比较优越的特点包括：

人脸融合效果比较好且真实

对提示词没那么太大污染，能更好的理解提示词

支持各种风格

可以控制面部的朝向和表情

我们可以来看一组通过杨幂照片生成的图片

我们可以看到在不同的面部方向都是比较像杨幂的，而且可以任意更改头发的颜色甚至风格等

InstantID安装

第一步：扩展安装

可以通过管理器搜索“ComfyUI InstantID”找到以下扩展直接安装，或者到官网进行手动安装。

第二步：insightface环境配置

如果之前成功安装过“ReActor Node”扩展的可忽略，如果没有安装过前往学习点这里。

第三步：模型安装

主要参考模型 ip-adapter.bin 放置到 ComfyUI\models\instantid 目录下，如果没有instantid文件夹自己新建一个。

antelopev2面部分析模型，将下载好的antelopev2解压缩，换脸模型antelopev2 文件夹整个拷贝到ComfyUI\models\insightface\models 目录下。

控制模型 diffusion_pytorch_model.safetensors 放置到 ComfyUI\models\controlnet 目录中。

到这里我们就成功安装好InstantID扩展了。

但请记住目前这仅适用于SDXL。

一. 【Apply InstantID】节点

该节点就是我们InstantID主节点了

1.输入部分

InstantId 输入我们的主模型 ip-adapter.bin

insightface 输入面部分析模型

control_net 输入控制模型 diffusion_pytorch_model.safetensors

image 输入目标面部图像，也就是我们想换成谁的脸，注意这里可以通过【图像组合批次】连接多张相同人物面部，理论上图片数量越多效果越好

model 输入SDXL大模型（目前仅支持SDXL模型）

positive 输入正面提示词

negative 输入负面提示词

image_kps 输入目标面部朝向图片，意思就是我们希望生成图片的面部朝向可以由这张图片控制，下面是通过一组面部朝向图控制生成的图片

mask 输入遮罩关注点，这个在后面高级应用中我会讲到

2.输出部分

model 输出模型一般输出到K采样器

positive 输出正面提示词

negative 输出负面提示词

3.组件部分

weight 权重大小，包括面部特征、面部表情和面部朝向权重大小，数值越大越相似但也会出现一些噪点和提示词的污染，尽量控制在0.8-1

start_at 起始InstantId控制值

ent_at 结束InstantId控制值，该值作为百分比值0代表0%，0.5代表50%，1代表100%，这个和我们用controlnet应用的控制值是一样的

二. 采样器

这里主要关注CFG的调整，CFG值需要设置在4-5之间

三.提示词相关

我们可以通过修改提示词来达到更改图片效果的目的，这个不同于IP适配对提示词污染很严重，如下图就是通过输入不同颜色头发的效果

这节课主要讲了InstantId的介绍、ComfyUI InstantId安装以及节点详解和基础工作流

下面几节课将讲解更多关于InstantId的高级应用

instantid官网地址：https://github.com/InstantID/InstantID

instantid插件官网地址：https://github.com/cubiq/ComfyUI_InstantID

模型百度夸克网盘下载：

instantid参考模型.txt (142 Bytes, 下载次数: 0, 售价: 5 贡献)

instantid换脸模型.txt (142 Bytes, 下载次数: 0, 售价: 5 贡献)

instantid控制模型.txt (142 Bytes, 下载次数: 0, 售价: 5 贡献)

工作流下载：

InstantID换脸工作流.json (19.09 KB, 下载次数: 0, 售价: 30 贡献)