本文给大家分享一个改造过的 Animatediff 模型,使用它生成视频的速度相比原始模型可以提升10倍以上,这就是字节跳动最近开源的 Animatediff-Lightning,本文就来介绍下 Animatediff-Lightning 的原理和使用方法。
演示效果
下面三个视频,分别是精细视频转绘、姿态视频转绘和文本生成视频的生成效果,整个视频的前后一致性控制的相当不错,普通浏览不会发现什么明显问题。
视频链接:https://www.ixigua.com/iframe/7363072697598738982?autoplay=0
Animatediff-Lightning介绍
Animatediff-Lightning 是一个跨模型扩散蒸馏模型,这里有两个关键词,特别介绍下;
跨模型:指的是训练时使用多个不同的 Stable Diffusion 基础模型来进行训练,比如 DreamShaper、ToonYou等现实模型和动漫模型。使用这种方法训练出的模型可以搭配各种 Stable Diffusion 基础模型,都有比较好的视频生成效果,可以说拥有较强的泛化能力。
蒸馏: 是神经网络模型压缩的一种方法,压缩后模型的体积更小,处理速度更快,但是模型的性能没有明显的损失,目前很多生成效率比较高的模型都是使用这种方法搞出来的,比如GPT-4 Turbo。在训练 Animatediff-Lightning 模型时,原始模型是 AnimateDiff v2 模型,训练时新模型不断学习 AnimateDiff v2 生成视频时的输出信息,从而逐步掌握到原始模型的大部分知识和能力。
在使用 Animatediff-Lightning 生成视频时,仅需要较少的步数即可完成图像采样,官方分别提供了 1、2、4、8步的Lightning模型,实测:1步效果不佳,仅作为测试和研究使用;2、4、8步质量较好,4步在速度和质量间找到了平衡,建议使用,8步质量最好,但是生成耗时较长。
另外文生视频时,Animatediff-Lightning 生成正方形视频的效果最好,长方形视频容易出现崩坏的情况,使用时需要注意。
关于 Animatediff-Lightning 的更多细节,请访问其研究论文:arxiv.org/abs/2403.12…
模型下载地址请前往文末。
使用Animatediff-Lightning
这里介绍下使用 Animatediff-Lightning 快速生成视频的三个小例子,希望能对你有所启发。
安装ComfyUI
视频生成工具使用的是 ComfyUI,这是一个工业级的AI绘画创作工具。
本地安装
请参考 Github 项目主页的介绍,也可以搜索其他人的安装教程。本文主要介绍 Animatediff-Lightning,ComfyUI的安装过程就不介绍了,后续看大家的需求再决定是否出一篇本地安装说明。
云环境使用
本文演示使用的 ComfyUI 是我分享在 AutoDL 云平台上的一个容器镜像:yinghuoai-ComfyUI ,如果你本地没有8G以上的Nivida显卡,建议试试云环境。
创建容器实例时,选择“社区镜像”,输入:yinghuoai-ComfyUI,点击选择弹出的镜像即可。
实例启动成功后,在AutoDL的实例列表中点击对应实例的【JupyterLab】进入实例管理页面。在【启动器】页面点击下图中的这个【重启】按钮。
首次启动会下载一些模型,请耐心等待,后边再启动这个实例就快了。出现 “http://127.0.0.1” 字样后,代表启动成功。
最后返回 AutoDL 实例列表,点击对应实例的【自定义服务】,即可在浏览器访问 ComfyUI。
使用ComfyUI
ComfyUI 和 Stable Diffusion WebUI 的使用方式差别很大,它是基于工作流的思想构建的,生成图片的过程被构建为多个节点的连续处理过程,不过也不用担心上手困难,我们可以直接使用别人发布的工作流,完美复刻别人的作品,也不用自己从头开始设计工作流。
这里简单介绍下在 ComfyUI 中使用 Animatediff-Lightning 生成视频的方法。
加载工作流
在 ComfyUI 的使用界面找到下图这个“管理菜单”(一般在页面的右侧),其中有一个【加载】按钮,直接点击【加载】按钮会让我们从本地选择工作流文件或者包含工作流的图片,【加载】按钮右侧有个下拉小按钮,点击可以使用我内置的一些工作流,如下图所示:
工作流中的节点很多,全部讲清楚比价困难,这里主要介绍下其中几个通用的可以自定义的地方,方便大家生成满足自己需求的视频。
基础模型和提示词
首先是关于SD基础模型的选择,正向提示词和反向提示词的填写。SD基础模型通过这个【Checkpoint加载器】进行选择,正向提示词和反向提示词使用的都是【CLIP文本编码器】,它们会连接到采样器的不同输入参数上。在使用Animatediff-Lightning模型时,反向提示词不用写太多。
加载视频
如果你做视频重绘,需要通过【加载视频】这个节点来选择一个要被重绘的视频。这里有几个参数重点介绍下:
- 这里是从ComfyUI的目录下选择视频,你可以把视频先放到这个目录下:ComfyUI/input
- 原始视频有一个帧率,你可以强制缩小下,让视频生成的更快。比如原来是30,你修改为15,处理的视频画面就少了一半,速度自然提上去了。
- custom_height: 这里是强制更改视频的高度为1080,宽度会自适应,如果你想放大或缩小视频,这很有用。
- 可以在这里直接上传本地的视频。
Animatediff模型设置
上边介绍的两个部分都比较基础,Animatediff模型是本文的重点。
我们首先通过【AnimateDiff加载器】加载Lightning模型,模型需要放到ComfyUI的这个目录下:ComfyUI/models/animatediff_models
然后就可以在这里选择到,注意【K采样器】中的【步数】要和模型的步数匹配,比如这里我选择的模型是 4step 的,步数这里就需要设置为4。
为了生成更长时间的视频,以及保持视频中任务的一致性,我们还需要设置下 Animatediff 的上下文和采样设置。【上下文长度】使用默认的16就好了,Animatediff训练时使用的就是16。采样设置中的【噪波类型】选择 FreeNoise,这会让视频中的人物尽量保持一致,人物的形象和姿势会更趋于一致。
合成视频
合成视频是工作流的最后一步,这里有几个参数也很关键,给大家唠叨一下:
- 格式:可以输出为图片格式,比如Gif动画,也可以输出为正常的 mp4 视频格式。
- save_meradata:会生成一张png图片,可以通过在ComfyUI中加载这张图片来获取生成视频的工作流。
- 保存到输出文件夹:一般都要选上,方便后续下载。默认是:ComfyUI/output,可以通过启动命令修改,我在 AutoDL 上的镜像已经修改为 autodl-tmp/output。
- 文件名前缀:建议为不同的工作流使用不同的前缀,方便管理生成的视频。
OK,关键的操作就这么多,祝你生成顺利!
资源下载
ComfyUI工作流下载:
- 基本工作流:包括上图中的 “极速Animatediff-简单动画” 和 “极速Animatediff-时空穿梭” 两个工作流,还有 Animatediff-Lightning 模型和参考视频。
-
- 给公众号 yinghuo6ai 发消息: 极速生成视频,即可获取。
- 直接使用我分享的AutoDL镜像,已经内置这两个工作流,还有其它一些常用工作流。镜像使用方法见上文的“安装ComfyUI”部分。
-
高级工作流:包括 “精细视频重绘”和“姿态视频重绘”,画面稳定不闪烁(参考文章开头的效果展示),还有 Animatediff-Lightning 模型和参考视频。
- 整理不易,目前仅发布在我的AI绘画专栏,如有需要请点击链接进入:xiaobot.net/post/033402…
Animatediff-Lightning 模型下载地址:
以上就是本文的主要内容,如有问题,欢迎留言。