文章转自：https://civitai.com/articles/499/multi-controlnet-video-to-video-show-case-ebsynth-controlnets-en

先看效果：

入门

注意：这不是解释该过程每个步骤的完整指南。

我将简要描述使用当前可用的工具通过稳定扩散可以完成什么样的视频到视频以及如何做到这一点。

欢迎批评、评论和提问。

我将向您展示的方法是如何使用 Multi Controlnets 进行最大降噪的 video2video。

工具

1. EbSynth：。

   这样可以使用 AI 将图像映射到目标视频中的指定帧，以更少的帧创建流畅的视频。

2. ebsynth 实用程序，auto1111 的扩展。

   这有助于 EbSynth 的设置。

3. 流程框架：

   使用 RIFE 和 DAIN 等逐帧补全 AI 模型使视频更流畅。

4. 稳定扩散自动1111 UI + 控制网络

工具链接如下

EbSynth： https: //ebsynth.com

EbSynth 实用程序（auto1111 扩展）：https://github.com/s9roll7/ebsynth_utility

FlowFrames： https: //nmkd.itch.io/flowframes

并且您需要为 auto1111 安装 controlnet 扩展。

controlnet 的模型：https ://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

用作控制网的时间网：https ://huggingface.co/CiaraRowles/TemporalNet

您需要更改设置 -> 控制网络 -> 单元编号中的值才能使用多个控制网络。

行程

流程大致可以分为以下几个步骤

1. 使用 EbSynth Utility 将目标视频分割为帧，并创建背景透明度蒙版。

2. 使用 img2img 创建图像以供参考。

3. 使用步骤 2 中生成的图像作为 controlnet 参考和 img2img 批处理以及其他 controlnet。

4. 使用 EbSynth 进行合成

5. EbSynth 实用程序将步骤 4 中生成的每个帧的视频放在一起，然后根据需要使背景透明。

如果您使用 EbSynth Utility 阶段 1 的配置菜单中的剪辑段，则可以仅遮盖面部或仅遮盖躯干。

在ebsynth实用程序阶段，跳过阶段3并自行执行img2img以使用多控制网络。

时间

使用 intel 12900KF + RTX 4090 24GB 的 8~15 秒视频时间为：

img2img批处理需要30到60分钟

（img2img所需时间约为关键帧总数的1/10）

EbSynth的合成时间为10~15分钟

其他步骤的时间较短，最多需要 90 分钟。

你所要做的就是在步骤2中生成一个img2img，剩下的就是按照工具操作，按下按钮等，然后等待CPU和GPU来处理它。

img2img 过程

为了降低工作量，您可以只为自己选择一张 img2img 图像。在 EbSynty Utility 的第 2 阶段中提取关键帧后，执行 img2img 第一个或您喜欢的图像。此时，调整Controlnet参数和提示即可得到想要的衣服、头发、脸部。

一旦获得所需的单帧，只需批处理 img2img，记住批处理输入图像的 canny、深度、openpose 等，而不是单个图像。相反，参考应该是单个图像。如果视频几乎没有运动或帧靠得很近，您可以添加时间网作为控制网。使用temporalnet 时选中“环回”框。

作为参考，样式保真度应设置为 0。

如果你想将 lora 应用到脸部，请使用 Adetailer ( https://github.com/Bing-su/adetailer )，它将自动为每批 img2img 图像进行脸部修复。

如果您想上传到tiktok，分辨率应为576x1024。

如果您想提高质量，只需选择适当的 img2imged 图像并重新生成其他图像即可。（但你需要花更多时间。）