AnimateDiff文生视频插件
AnimateDiff介绍AnimateDiff将个性化文本到图像扩散模型制作成动画,无需特殊调整
随着文本到图像模型(如稳定扩散)和相应的个性化技术(如 LoRA 和 DreamBooth)的发展
每个人都有可能以低廉的成本将自己的想象力转化为高质量的图像
因此,人们对图像动画技术提出了更高的要求,以进一步将生成的静态图像与动态图像相结合
AnimateDiff可将现有的大多数个性化文本到图像模型一次性制成动画,从而节省了针对特定模型进行调整的工作量
AnimateDiff特点
兼容各种采样器、节点束采样和效率采样节点
支持ControlNet支持,在每帧或帧之间的“插值”,可以将其用作图片转视频
使用滑动上下文窗口支持无限动画长度(于23年9月17日推出)
实现了来自AnimateDiff存储库的运镜LoRA,注意:仅适用于基于v2的运动模型,如mm_sd_v15_v2、mm-p_0.5.pth和mm-p_0.75.pth(于23年9月25日推出)
可以使用CompyUI_FizzNodes中的提示词调度(自23年9月27日起工作)
影响运动量的运动缩放和其他运动模型设置(于23年10月30日引入)
运动模型设置中的运动缩放遮罩,允许选择每帧或每帧的每个区域应用多少运动(于23年8月11日推出),可以与修复一起使用(AnimateDiff遮罩支持渐变遮罩)
AnimateDiff SDXL支持,具有相应的型号(于23年10月11日推出)
fp8支持:需要最新的ComfyUI和torch>=2.1(于23年6月12日推出)
AnimateDiff v3运动模型支持(于23年12月15日推出)
插件地址:https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved
安装难易程度:★☆☆☆☆☆
库的安装难度:没有库的依赖
学习资料:
安装及模型下载:点击学习
V3动态模型:点击学习
SparseCtrl控制:RGB稀疏控制 涂鸦稀疏控制
AnimateDIFF ControlNet模型下载:
AnimateDiffLCM快速动态模型:点击学习
AnimateDiff采样设置FreeNoise增稳:点击学习
新版详解:点击学习
页:
[1]