欢迎光临散文网 会员登陆 & 注册

【AI绘画】模型修剪教程:8G模型顶级精细?全是垃圾!嘲笑他人命运,尊重他人命运

2023-09-03 14:19 作者:秋葉aaaki  | 我要投稿

先说结论:凡是SD1.5的模型,2G大小就是最终的有效数据[1]

模型越大,只能是垃圾数据越多

[1] SD-WebUI 默认 fp16 精度,不使用EMA


模型里都有什么?

首先清楚一件事:SD模型由三个小部分组成:U-Net,TextEncoder,VAE。

不懂的回去复习我讲过的视频,这些都是干什么用的早就讲过了

大小如图所示,多出来的EMA又是什么?


EMA(ExponentialMovingAverage),指数滑动平均,就是理解为一个训练时候把最后一些步数的结果做平均,并单独存下来。

而WebUI中,不会用到EMA权重。

并且,一旦你把带有EMA的模型与不带有EMA的模型进行融合,EMA就再也没有了用处。


为什么?

EMA是这个模型U-Net的一些平均值,而你把两个模型融合,一个不带EMA,这部分权重就并不会被融合到,这也变成了纯粹的垃圾数据


FP16是否会损伤出图效果?

还是那句话,WebUI默认用FP16。哪怕你用的FP32模型,那也得乖乖转成fp16来计算出图。

当然,你如果乐意也可以选择使用fp32计算,获得更慢的速度,更大显存爆炸


如何剪裁模型?

请使用我写的“模型转换”插件,按照图中内容选择可保证剪裁到2G无任何效果变化。



用事实说话,不用感觉

这也是最基本的科学。请用事实说话,而不是你的感觉。

如果你认为剪裁模型发生了效果变化,请使用完全一致的参数,重新跑同一张图做对比,否则你就是民科


FP32模型完全没用?

可以留着,训练时候也可以用。不过训练时也会开启混合精度,照样用fp16。

有时,部分黑图有人觉得也可以用fp32解决


尊重理解他人命运

总有人学个模型融合觉得自己好牛批,但是可能连一行代码都看不懂,原理一点都不懂,反正我就是对的

尊重并祝福



【AI绘画】模型修剪教程:8G模型顶级精细?全是垃圾!嘲笑他人命运,尊重他人命运的评论 (共 条)

分享到微博请遵守国家法律