【LoRA训练】不用再手动填写学习率，AI教你怎么训练自己。使用其他的Optimizer。

    kohya的训练程序更新了adafactor，Dadaption，LION等新的optimizer。其中有一些诸如adafactor的optimizer不需要填写学习率。同时效果甚至比人工经验的学习率训练出的模型效果更好。

    这代表以后可以不填写学习率让训练程序自己动了。

    首先更新kohya的训练程序。参数进行如下设置：

        其他随便填，Learning rate直接填写1，Optimizer选择Adafactor（据GUI作者说这个效果最好）。直接点击训练。

等待训练完成就行，十分的傻瓜式。

    效果如下：

    loss以及lr参考：

    还是AI更懂AI。