欢迎光临散文网 会员登陆 & 注册

如何利用AI快速实现MMD视频3渲2效果

2022-10-29 21:52 作者:丹尼-Danny  | 我要投稿


测试视频:

https://www.bilibili.com/video/BV1qV4y1g77e/

https://www.bilibili.com/video/BV148411Y7aL/?spm_id_from=333.788

————————————

首先,在开始我们这套流程之前,请先掌握最基础的MMD、PR、stable diffusion操作,

MMD教程

PR教程

SD教程

————————————

首先,我们使用MMD(或者使用Blender或者C4D这些都没问题,但有点奢侈,一些3D势VUP们其实可以直接皮套录屏)导出一段低帧数的视频,20~25帧之间就够了,尺寸不要太大,竖屏576*960,横屏960*576(注意,这是我按照自己3060*6G显存设置的参数,因为后面SD跑图用2K的图会爆显卡,如果你是3090或者有ti的话没关系,拉到4K都行,但是会很慢

PR导出参数(请无视尺寸)
现在我们得到了视频的帧序列(blender和C4d直接导出帧序列就行,不用过pr)
接下来我们进入stable diffusion webui,使用img2img功能

输入与角色尽可能贴近的描述

使用txt2img测试描述词贴近度

描述过关后在img2img导入序列帧中的一张作为参考图


我加了一个权重库里有且与爱缪莎部分形象相似的角色tag“早坂爱”进去,有条件的可以直接训练一个对应角色的文本反转或者dream both模型,用于固定角色以及画风

先拿一张中间帧跑十几张,然后挑一张自己喜欢的做种(seed),把seed值锁定


接下来输出,等待几个小时

得到一个新的序列帧(部分验证作画错误的可以单帧挑出来,种子改-1,重新跑,到满意了再替换掉)

接下来补帧到30/60FPS(这步可以跳过,事实上动漫没多少是60帧的,但补帧过程中会把一部分不和谐的帧识别成转场果冻化,因此补完后画面会和谐一些)

最后导入PR/AE,加音轨和特效,然后导出。

虽然成品看上去很稳定但实际上是因为我加了rbg分离和边缘弹出,让画面的重点不在人物整体上,因此后期这一步其实非常重要,也可以一开始导出带纯色背景的视频,然后跑完图使用颜色键把背景抠掉,用来合成制作pv。

那么教程就到这里了,拜拜。

如何利用AI快速实现MMD视频3渲2效果的评论 (共 条)

分享到微博请遵守国家法律