NovelAI的喂图小技巧

NovelAI也用了一段时间,大体上人物怎么训练也摸清楚了。这里主要说一下训练人物的一些小技巧,作为各位大神教程的一些补充。
大家是不是还在烦恼要么过拟合要么出古神?
这里就说一下人物训练时候要注意的一些问题。这里以Embedding训练为例。
训练集的准备过程就不详细说了,大家要注意的有两点:1.有必要的话可以手动在训练集里面添加一些Tags,比如环境和服装或者镜头过于统一的情况,这样子AI在训练的时候就能将这些情况分清楚,不会将背景什么的识别为人物特征,这样就不会出现你不管出什么图都会带着训练集背景之类的情况。2.图的类型最好全面一点,全身的、半身的、还有脸部特写,这个很重要,有必要的话可以自己裁剪。服装杂一点倒是没关系,但是如果过于统一,也要注意打上Tags。
然后就可以开始训练了,最大步数跑不到10万,一般1.5-2万步内即可完成训练。保险一点可以设到2.5万左右,学习率同样是从默认开始,后面每暂停操作一次可以降低一个数量级。
第一次学习的停止时机可以看Loss率,最主要看出图效果,Loss率如果训练集差异过大很可能降不下来,觉得相对稳定了就可以停止,如果训练集质量比较高,Tags比较全的话一般5000步以内即可成功,注意没必要到出图非常清晰的程度,当然如果你的训练集质量比较高这一步出的图就会很清晰。
然后就可以抽图了,第一步训练是训练AI识别整个人物的大体形象,下面我们需要进一步提高AI的绘图精度,把人物的全身像全部抽出来,只留半身以上的,把学习率降低一个数量级,这一步就可以构建人物的准确形象了,同样一开始Loss率会很高,但会逐渐降低,等到出图相对稳定之后,一般需要2000-5000步,就停止训练。
继续上述操作,只不过这一步只留下人物脸部特写。学习率继续降低一个数量级。这一步就是教会AI怎么画脸,一般也是2000-5000步内可以完成。训练大体到这一步就可以完成了,完成以后就可以去文字出图那里验证训练效果,可以多视几个不同的风格、发色、瞳色、服装之类的,成功训练的Ai应该是很容易按照你给的Tag来改变出图效果,但是人物仍然看上去是那个人物。
下面是几张验证图,我改了不同的风格、背景、人物特征,但出图效果相对还是比较稳定的,一次出50张左右。



如果出图效果不稳定,或者是细节上不清晰,还可以补充进一步训练,把训练集抽到剩3-5张你觉得最满意的脸,不用降低学习率,继续进行训练,稳定后可以再降低一次学习率,让AI学会画眼睛细节之类的特征。
到这一步训练就基本上完成了,但如果是训练集质量不高,很可能出图的人脸还是不稳定。也就是所谓的欠拟合。AI不会收敛怎么办?我们可以帮它收敛,让它大量出图,挑出你觉得满意的图片,可以混合之前训练集中你觉得满意的图片继续训练一个新的模型,这就是所谓的迭代。一般2-3次迭代以后就会有比较稳定的出图效果,那么这个人物也就算训练成功。

那么这就是NovelAI训练人物的一些小技巧,那么大家学废了吗?