动动嘴，AI帮你做视频后期｜Rerender—开源版Gen2来了！

论文：https://arxiv.org/abs/2306.07954

项目地址：https://anonymous-31415926.github.io/

推友**balconychy**对论文的解读（类似ebsynth的原理）：

• 直观的理解就是插值。 每一帧单独的跑SD不是闪烁吗？那我就不跑每帧，隔K帧选择关键帧跑。 关键帧之间的图像，就用风格化后的图像，利用光流的方式向后贴图；这样贴到底K帧可能不一致了，于是，从第K帧反向再来一把，然后把两个融合，过渡就自然了

• Rerender 能实现视频全局形状、纹理和颜色的连贯性，有效减少了外观偏离和画面闪烁
• 这个框架由两部分组成：关键帧翻译和完整视频翻译。
• 在第一部分，Rerender使用了改进的扩散模型来生成关键帧，同时应用层次交叉帧约束以确保在形状、纹理和颜色上的连贯性。
• 在第二部分，我们通过时间感知补丁匹配和帧混合，将这些关键帧传播到其他帧中。这个过程实现了全局风格和局部纹理的时序一致性，并且无需重新训练或优化