1.视频效果
B站视频效果:黄昏见证虔诚的信徒
2.准备工作
制作视频效果,需要准备下面3个条件:
- 准备stable diffusion的环境
- 剪辑一段【鸡你太美】原版视频
- stable diffusion安装sd-webui-IS-NET-pro插件
2.1部署stable diffusion环境
部署步骤参考制作ikun图片的文章:【奶奶看了都会】2分钟学会制作最近特火的ikun幻术图
这里还是建议大家用云平台部署stable diffusion,简单高效。因为本地部署要踩的坑实在是太多了,小卷之前可是花了一天时间才部署好的。
另外最近揽睿星舟平台有七夕节活动, 全场3090 24G资源【7.7折】优惠!!相当于只要1.46/时
👉🏻活动时间截止到2023.8.22
👉🏻注册地址:www.lanrui-ai.com/register?in…
2.2 stable diffusion安装sd-webui-IS-NET-pro插件
简单介绍下sd-webui-IS-NET-pro插件,主要的功能是将视频分成多帧图片,批量抠图操作,以及多帧图片转视频处理
安装步骤:
- SD页面 – extension – install from URL,输入下面的链接,点击install
https://github.com/ClockZinc/sd-webui-IS-NET-pro.git
- 插件安装isnet-general-use.pth模型文件
模型下载地址获取:公众号卷福同学
内发关键词AI绘画
获取
将模型文件放到下面的目录里,然后重启SD就完成安装了
/home/user/data/sd/extensions/sd-webui-IS-NET-pro/saved_models/IS-Net
3.视频制作流程
这里列一下AI视频制作的整个步骤:
- Isnet_Pro的video2frame把视频切分为多张图片
- Isnet_Pro的图片背景去除把人物背景去掉
- 文生图制作图片效果
- 选取效果好的图片seed值,批量生图
- Isnet_Pro的frame2vide把多帧图片转视频
- 剪辑工具给视频配音
3.1视频分成多帧
在SD页面切换到isnet_Pro插件上,选frame2video,然后上传你的视频,填上输出目录,可直接参考我的目录。点击gene_frame
开始生成图片
/home/user/data/sd/outputs/frams
等待1分钟左右,生成的图片可在输出目录下找到:
3.2去除图片人物背景
切换到ISNETpro2,然后填入刚才的输出目录到输入地址,图片的输出地址也填个新的,点击开始批量生成
/home/user/data/sd/outputs/Isnet_output
等待几分钟后,可以在输出地址查看生成的图片效果,可以看到人物的背景已经全换成白色了
mask目录里是黑底蒙版图,也是可以拿来用的
3.3文生图
正面词:
The sea, mountains, highways, forests
反面词:
NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome0),((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbic d:1.21),(mutilated:1.21),(tranny:1.331),mutated hands,(poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs,(disfigured:1.331),(missingarms:1.331),(extra legs:1.331),(fused fingers:1.61051),(toe omany fingers:1.61051),(uncleareyes:1.331),lowers, bad hands,missingfingers, extra digit,bad ha ands, missing fingers, ((extra arms and legs))),
controlnet配置如图,需要使用模型control_v1p_sd15_qrcode_monster
可以多跑几张看看效果,选择效果好的图片的seed值
3.4 固定seed,批量生成图
写入自己看好的图片的seed值,然后填入上一步的图片输出路径,开始批量生图。图片生成放在/home/user/data/sd/outputs/txt2img-images
对应的日期目录下,可自行查找
图片生成位置:
3.5 多帧图片合并视频
打开isnet_Pro的frame2video
功能,配置图片输入目录和视频数据目录,点击生成即可
视频生成完成后,找到视频文件,并从平台上下载到本地
3.6 制作完整视频
合成的视频是没有声音的,这里大家可以自行用剪辑工具玩耍了,给视频加上配音,或是直接模版生成。
视频效果大家自行探索哦~
4.关注
用AI制作视频的教程就到这里了,是不是很简单呢,视频效果依赖AI调教以及视频剪辑。如果喜欢这篇文章的话,给小卷点个关注吧~