凝光LoRa模型训练心得及配布

最近又迷上了AI生成。其实四个月以前就开始玩stable diffusion了，只不过作为一个曾经小有名气却休稿多年的退休画师，当时SD的画风确实看不上。但最近看到的作品着实让我震惊，于是就重拾学习起来。 在历经了多次尝试和失败，训练了几十个模型之后，我终于成功训练出一个满意的模型了。于是我迫不及待的分享出来，包括我摸索出的一些训练tips供大家交流学习，共同进步～ 由于我自己常用的大模型是橙子，在尝试过不同的大模型作为基础训练模型后，我选择使用anything v3来训练，这样生成的效果最好。 由于我自己以前是画师的缘故，我特别在意角色面相的一致性，因此我专门手动挑选了几十张我认为的最符合原画以及凝光气质的插画作为训练素材。 此外，为了进一步提升服装和脸型的精确度，我还专门渲染了一大堆不同角度的凝光3D模型的图片。毕竟人类画师往往都会画错一些地方，但官方模型肯定是最准确的。最终我根据凝光的两套服装将其分为两个文件夹，然后根据数量分别分配20和30的重复率。 训练的过程非常漫长，因此找到训练的最佳设置尤为痛苦。虽然是3090，但开着1024分辨率渲染，一次也要7-12小时不等。这次的模型，实际上是分两次训练的，总时间估计已经去到了20小时。 训练的第一阶段采用默认学习率，由于每一epoch我都会保存，所以我也记不清最后选了哪个，可能是训练了6个epoch左右的模型，此时两套服装已经能够被区分开，脸型也成型，只是一些细节还不行。 因此第二阶段我将学习率下调一个量级，然后又学习了6个epoch得到最终模型。这个过程其实有点像finetune，小学习率学习细节并避免快速过拟合。 最终成品也是比较令人满意的。首先是可以用prompt区分两套服装：凝光默认的白金旗袍，使用ningguang\(genshin impact\)即可呼出；凝光海灯节的蓝色礼服，使用ningguang \(orchid's evening gown\) \(genshin impact\)呼出。这两个prompt实际上是danbooru上已有的tag，因此如果你已经安装了自动推荐tag的插件，这两个prompt非常容易找到。 此外，我还添加了headonly这个prompt来标记，具体效果大家看英文便知～ 接下来是预览生成图时间。这些图我都采用最简单的prompt，因为只是作效果参考，没必要搞很复杂。都是原图，无裁剪、无inpaint。 首先是orangemix模型，可以看到脸是非常贴合原著的，服装可换，orange的画风也得以保留。

接下来是counterfeit和9527，非常风格化的模型，用来考验其鲁棒性。不幸的是可以看到有的细节已经出现错误。这看起来像是训练不足导致，因此后面改进的时候我再试试更多epoch吧。

最后是chillout模型的终极鲁棒性挑战，基于二次元大模型、二次元素材训练的小模型，能不能生成三次元呢？前方恐怖谷警告⚠️

意外的…还凑合？ 不过服装的细节错了不少，而且面相也不能说很像凝光给人的感觉。 不过至少还是个人样，看得出是凝光…的cosplay。 什么TMD叫赛博cosplay！这TMD就叫赛博cosplay！ 但以后拿realistic模型生成图这件事，还是仅作测试参考吧，三次元我真看不习惯。 这个模型已经分享到civitAI，感兴趣的自己去搜索下载就行。 这次分享也想多认识一些同道中人，大家多交流学习一下，毕竟这个AI生成真的是好玩。