5月7日，Stable Diffusion复现物体进度

文中图片均为SD生成，仅用于学习交流，禁止商用，禁止违法用途。

学习使用SD第30天，一整月了。

物体方面目前已攻克SD对小物体，一般可识别物体的批量替换背景，
优化对不识别物体的批量替换背景。
优化服装的批量出图。
对指定物体的定向结果控制。

目前未解决：
指定颜色替换，复杂纹饰图样的背景替换，其他未尝试问题。

一些结果↓
瓶子定向（无Lora）：960*960，约7秒/张。

食品封口机替换背景（无lora）：尺寸3500*3500，约9秒/张。

某个网友发的图（无lora）：512*512，约1秒/张。

粉色针织羊绒衫+欧美模特（有Lora）：640*960，约13秒/张（剔除手脚废图）

荞麦面粉定向生成（无lora）:尺寸768*1024，约4秒/张。

雪人玩偶3D感复现+样式变化（有lora）：尺寸960*960，约7秒/张。

某不规则魔方玩具替换场景（少部分使用lora）：尺寸960*960，约12秒/张。

关于复现产品的一些个人经验整理：
1.每个产品的尺寸和比例都不一样，对于不同的产品，需要用到不同的tag词进行调试。
2.产品的tag词+模型调试时间在1小时以内，超过这个时间太多，要么用词方向存在问题，要么模组存在问题，且拉高了成本，不划算。
3.需要光影效果的物体和AI不识别的物体需要使用Lora以达到最佳效果，AI可识别物体即使不训练lora也可以通过蒙版达到只替换背景的效果。
4.通过蒙版进行复现，可以不使用高清插件和高清修复来实现高分辨率和图像的高清内容化。
5.太过复杂但不考虑光影的纹样复现需要增加生成步数和测试采样方式来达到对应的结果。
6.考虑光影且批量化多角度复现完整的不规则花纹分布，目前我还未做到，后续尝试通过lora分层或loha模型解决。

关于lora训练的一些想法。
通过对SD基础算法的学习和对LORA的学习，以及实测一些物体的训练结果。
得到以下结论（仅为个人看法）：

1.Loss值：
Loss值的区间并非固定，根据不同的产品，内容的复杂程度，内容的存在数量类型，Loss值会存在不同的变化。
人像及带人像的半身服饰，其训练的loss区间正如各个SD大佬所言，在0.6-0.8这个区间波动，最终可以得到相对较好的结果。
而对于物体和一些小物件，loss值即使低至0.09-0.2这个区间，也可以得到可用的结果（只是可用，但不一定是最好的结果）。
当训练透明背景图物体的loss处于0.25-0.4这个区间时，出现的结果会偏差很大，有拟合效果很好的，也有完全欠拟合无法生效的，这点原因未知。

2.物体的欠拟合、过拟合、拟合：
通过对模型权重的调整和词的全部调用，
如果一个模型在权重-2至2区间内，它都无法产生结果，那么理论上，它是废的，归属到欠拟合。
如果一个模型在权重-1至1区间内，它都能产生或反或正的结果，那么理论上，它是拟合的。
如果一个模型在权重-2至2区间内，它都能有效果，且在值为1时，它的应用覆盖范围超过产品本身影响到其他内容，它是过拟合的。
从实际的应用上来看，欠拟合的模型对物体的复现应用效率为0，拟合和过拟合的模型则都可以通过调整权重和词来达到想要的效果。

3.lora训练标签：
tag标签的多少和模型的拟合程度并没有绝对的关系。
对于风格化模型的训练，tag标签需要多且准确，原因在于调用模型的时候，较多的tag词可以只调用其中一部分tag对应的内容，给予整体更多的变化。
对于物体的复现训练，取决于你想要用到该物体的什么部分。
如果是整体应用，则减少训练时的tag词，
如果需要多样变化或者应用于其他的物体，则增加训练时的tag词。
同时，如果需要做整体调用，还需要调整文本的学习率。

在训练设置中，存在以下文段。

# Learning rate | 学习率

$lr = "1e-4"

$unet_lr = "1e-4"

$text_encoder_lr = "1e-5"

描述段不改变，数值改变即可。
1e-4=1乘以10的-4次方=0.0001；
2e-4=2乘以10的-4次方=0.0002；
1e-5=1乘以10的-5次方=0.00001；
2e-5=2乘以10的-5次方=0.00002；
9e-5=9乘以10的-5次方=0.00009；
以此类推。

4.仅通过lora我还无法做到100%复现，可能存在的问题是：
⑴学习时对训练集进行了分割处理。
⑵文本与图像内容的权重匹配度存在问题。
⑶输出内容进行的整体输出。
⑷输出内容与底模进行了一定程度的重叠。

打算尝试通过BV1nP411U7me的内容进行控制测试。
如无法，则进行下一步的loha训练测试。