AnimateDiff文生视频插件

[复制链接]
shofans 发表于 2024-10-3 18:19:17 | 显示全部楼层 |阅读模式
shofans
2024-10-3 18:19:17 232 0 看全部

微信扫码快速注册,学习AIGC更多知识

您需要 登录 才可以下载或查看,没有账号?立即注册

x
AnimateDiff介绍

AnimateDiff将个性化文本到图像扩散模型制作成动画,无需特殊调整

随着文本到图像模型(如稳定扩散)和相应的个性化技术(如 LoRA 和 DreamBooth)的发展

每个人都有可能以低廉的成本将自己的想象力转化为高质量的图像

因此,人们对图像动画技术提出了更高的要求,以进一步将生成的静态图像与动态图像相结合

AnimateDiff可将现有的大多数个性化文本到图像模型一次性制成动画,从而节省了针对特定模型进行调整的工作量

AnimateDiff特点

兼容各种采样器、节点束采样和效率采样节点

支持ControlNet支持,在每帧或帧之间的“插值”,可以将其用作图片转视频

使用滑动上下文窗口支持无限动画长度(于23年9月17日推出)

实现了来自AnimateDiff存储库的运镜LoRA,注意:仅适用于基于v2的运动模型,如mm_sd_v15_v2、mm-p_0.5.pth和mm-p_0.75.pth(于23年9月25日推出)

可以使用CompyUI_FizzNodes中的提示词调度(自23年9月27日起工作)

影响运动量的运动缩放和其他运动模型设置(于23年10月30日引入)

运动模型设置中的运动缩放遮罩,允许选择每帧或每帧的每个区域应用多少运动(于23年8月11日推出),可以与修复一起使用(AnimateDiff遮罩支持渐变遮罩)

AnimateDiff SDXL支持,具有相应的型号(于23年10月11日推出)

fp8支持:需要最新的ComfyUI和torch>=2.1(于23年6月12日推出)

AnimateDiff v3运动模型支持(于23年12月15日推出)

插件地址:https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved

安装难易程度:
☆☆☆☆☆

库的安装难度:没有库的依赖

学习资料:

安装及模型下载:点击学习

V3动态模型:点击学习

SparseCtrl控制:RGB稀疏控制   涂鸦稀疏控制

AnimateDIFF ControlNet模型下载: AnimateDiff ControlNet.txt (142 Bytes, 下载次数: 2, 售价: 10 贡献)

AnimateDiffLCM快速动态模型:点击学习

AnimateDiff采样设置FreeNoise增稳:点击学习

新版详解:点击学习



您需要登录后才可以回帖 登录 | 立即注册

本版积分规则 返回列表

shofans当前离线
管理员

查看:232 | 回复:0

欢迎
快速回复 返回顶部 返回列表