ebsynth_utility
概述
用于使用 img2img 和 ebsynth 创建视频的 AUTOMATIC1111 UI 扩展。
这个扩展允许您使用 ebsynth 输出编辑后的视频。(不需要 AE)
安装了 Controlnet 后,我确认此扩展的所有功能都能正常工作!
Controlnet 是视频编辑的必备工具,所以我推荐安装它。
多 ControlNet("canny" + "normal map")适用于视频编辑。
我修改了 animatediff-cli 创建了一个允许灵活提示指定的 txt2video 工具。如果你喜欢,可以使用它。
animatediff-cli-prompt-travel
示例
- 以下样本是此扩展的原始输出。
样本1 使用 clipseg 的遮罩
- 从左起第一个:原始
- 从左起第二个:遮罩 "cat" 排除 "finger"
- 从左起第三个:遮罩 "cat head"
- 最右:使用 color-matcher 进行颜色校正(见阶段 3.5)
- 也可以指定多个目标。(例如:cat, dog, boy, girl)
样本2 混合背景
- 人物:masterpiece, best quality, masterpiece, 1girl, masterpiece, best quality, anime screencap, anime style
- 背景:cyberpunk, factory, room ,anime screencap, anime style
- 也可以与您喜欢的视频进行混合。
样本3 自动标记
- 左边:原始
- 中间:在所有关键帧中应用相同的提示
- 右边:在所有关键帧中应用 deepdanbooru 的自动标记
- 该功能改善了面部表情、手部表情的细节变化等。
在示例视频中,添加了 "closed_eyes" 和 "hands_on_own_face" 标签,以更好地表现眨眼和手放在脸前。
样本4 自动标记(动态应用 lora)
- 左边:在所有关键帧中应用 deepdanbooru 的自动标记
- 右边:在所有关键帧中应用 deepdanbooru 的自动标记 + 动态应用 "anyahehface" lora
- 添加了根据自动附加标签动态应用 TI、hypernet、Lora 和附加提示的功能。
在示例视频中,如果给出 "smile" 标签,将根据 "smile" 标签的强度添加 lora 及其触发关键词。
此外,由于自动添加的标签有时可能不正确,不必要的标签会列在黑名单中。
这里 是实际使用的配置文件。放在 "项目目录" 里使用。
安装
- 为您的操作系统安装 ffmpeg (https://www.geeksforgeeks.org/how-to-install-ffmpeg-on-windows/)
- 安装 Ebsynth
- 使用 webui 的扩展标签 [从 URL 安装]
使用方法
- 转到 [Ebsynth Utility] 标签。
- 在某处创建一个空目录,并填写 "项目目录" 字段。
- 从某处放置你想编辑的视频,并填写 "原始视频路径" 字段。 首先使用几秒钟的短视频。
- 选择阶段1并生成。
- 按顺序从阶段1到阶段7执行。
进程中的进度不会反映在 webui 中,请检查控制台屏幕。
如果在 webui 中看到 "completed.",则已完成。
(在当前最新的 webui 中,如果不在 img2img 的主屏幕上拖动图像,似乎会导致错误。
请拖动图像,这不会影响结果。)
注意 1
作为参考,下面是我根据 1280x720 30fps 15秒 视频编辑时所做的
第1阶段
没有什么需要配置的。
会生成视频的所有帧和所有帧的遮罩图像。
第2阶段
在此扩展的实现中,关键帧间隔会依据运动多的地方短一些,运动少的地方长一些。
如果动画破碎,则增加关键帧;如果闪烁,则减少关键帧。
首先,以默认设置生成一次,不考虑结果,直接前进。
第3阶段
选择其中一个关键帧,将其投到 img2img,并运行 [Interrogate DeepBooru]。
删除提示中显示的不需要的词语,比如模糊。
其余设置按生成图像的常规方法填写。
以下是我使用的设置。
- 采样方法:Euler a
- 采样步骤:50
- 宽度:960
- 高度:512
- CFG 比例:20
- 去噪强度:0.2
以下是扩展设置。
- 遮罩模式(覆盖 img2img 遮罩模式):正常
- Img2Img 重复计数(循环返回):5
- 重复时在种子上添加N:1
- 使用人脸裁剪 img2img:是
- 人脸检测方法:YuNet
- 最大裁剪大小:1024
- 人脸去噪强度:0.25
- 面部区域放大倍数:1.5(数字越大,越接近模型的绘画风格,但与身体合并时越容易偏移)
- 启用面部提示:否
这个过程中的试错是最耗时的部分。
监控目标文件夹,如果不喜欢结果,就中断并更改设置。
当使用人脸裁剪 img2img 时,提示和 [去噪强度] 以及 [人脸去噪强度] 设置会极大影响结果。
有关人脸裁剪 img2img 的更多信息,请查阅 此处
如果你有很多内存,保持宽高比增加宽度和高度可能会极大地改善结果。
这个扩展可能有助于调整。 https://github.com/s9roll7/img2img_for_all_method
以上信息来自没有使用 controlnet 的时候。
当 controlnet 一起使用时(特别是多 controlnets),即使将 "去噪强度" 设置为较高值也能正常工作,甚至将其设置为 1.0 也会产生有意义的结果。
如果 "去噪强度" 设置为较高值,"循环返回" 可以设置为 1。
第4阶段
按比例放大或缩小处理到与原始视频完全相同的大小。 这个过程只需进行一次。
- 宽度:1280
- 高度:720
- 放大器 1:R-ESRGAN 4x+
- 放大器 2:R-ESRGAN 4x+ Anime6B
- 放大器 2 可见性:0.5
- GFPGAN 可见性:1
- CodeFormer 可见性:0
- CodeFormer 权重:0
第5阶段
没有什么需要配置。
会生成 .ebs 文件。
第6阶段
运行 .ebs 文件。 我不会更改设置,但你可以调整 .ebs 设置。
第7阶段
最后,输出视频。
在我的情况下,从第1阶段到第7阶段的整个过程大约花了30分钟。
- 交叉淡化混合率:1.0
- 导出类型:mp4
注意 2:如何一起使用多 Controlnet
在 webui 设置中
在 img2img 标签中的 controlnet 设置(对于 controlnet 0)
在 img2img 标签中的 controlnet 设置(对于 controlnet 1)
在 img2img 标签中的 ebsynth_utility 设置
警告:controlnet 设置中的 "权重" 会被以下值覆盖