个人lora炼丹笔记

毕竟也炼了半年多的丹了，想简单谈谈心得（也没想到我一个炼丹业余玩家也能有c站小牌牌）

（这次只谈谈最基础的lora训练，并且说得抽象，基本是给自己看的，不涉及loha，locon，金字塔及其分层训练那些花里胡哨的，因为我认为这些东西都不是训练一个好模型的关键因素才不是因为我懒┓(;´_｀)┏）

先简单说说决定训练质量的因素（纯个人体感）：

训练集>>训练底模选择>打标☆>学习率≈学习步数>其它

先说说角色训练集准备吧，首先准备的训练集图片一定要清晰，不能有颜色条条（最常见于工具裁剪时出现的黑条条），人物最好是有背景（不然出图时人物背景可能要用prompt引出），然后画风极差的同人图不建议作为训练集，拿番剧截图做训练是可以的并且可以保证画风统一但会导致画风过拟，但球球了别拿个720p的画质去截图做训练集，不然到时候出图的时候跟着一起糊除非你喜欢糊糊的年代感。

紧接着是训练集图片尺寸，最好是自己截不建议用训练工具自带的裁剪工具，这样更能选出你想让ai学的内容，个人喜欢512*（512~768）这个区间，其它区间有试过但翻车之后就没再尝试了，人物截图时除非角色下半身有明显属于该角色的人物特征，不然只建议截上半身，下半身给ai学太容易过拟了，训练集中可以包含人物的背身图和侧身图，但正面图一定要在七成以上除非你喜欢欣赏背影。一个理想的训练图片应长下面这样：

紧接着说说训练底模的选择（仅限二次元），个人是nai模钉子户，但其他例如anything、sd1.5应该也不错，这里就不多阐述了，上面提及的三个都挺稳定，其它的需要自己尝试。

然后说说地狱难度的打标环节吧，这个首先得看训练底模对不同prompt的匹配度，目前我感觉nai模的prompt大多与danbooru这个图片网站匹配（ai早期魔法吟唱的tag我都会去这个网站查）

之后就是打标了，目前有很多打标工具，我用的是超古典的deepdanbooru，其实这些打标工具都差不多，麻烦的是后续人工处理tag

先用抽象的方式说说打标是干嘛的

你可以认为你给ai喂的训练集会放在一个双层楼中，训练时ai会根据你给每一张训练图片打上的tag一个个识别元素并与底模元素匹配去逐步迭代微调底模元素的内容，并将这些元素放到房屋第二层中先不在第一层露面，那些未被打标或者无法被识别的元素会被放置在第一层（大部分情况是底模中没有这个tag对应的元素）调用lora即出现，当训练好一个lora后，调用lora会直接让第一层的元素露面，而想让第二层元素露面就需要我用之前打好的tag去引出他们

所以为什么一般训练角色都会将角色特征有关的tag删掉，这是为了调用时方便直接引出角色的特征，当然如果保留角色服装tag的话就能使角色换装更简单。同时如果训练集少的情况下打标尽量复杂，训练集多的情况打标尽量简单，如果不介意过拟合或者欠拟合可以忽略这步，毕竟可以调lora权重。

不过还有一种邪教训练方式，就是我经常用的单标法，每个图片只打1girl这一个标，或者再随便加一点，例如角色是纯白背景的话我可能会加个white_background tag使白色背景不容易被调用出来防止以后出图时背景单一。单标法是懒人必备，并且分概念训练也很简单，只要自定义一个tag触发词再加1个1girl（加1girl能提高泛化性但极有可能导致概念杂糅）就能给一个图片打好标。

上面提及的都是角色训练，再顺便提提画风训练吧，画风我也炼了不少但画风模型一般涉及画师所以不会分享出来

炼画风就比角色轻松多了，打标的话直接打全标，不需要手动人工修改（至于为啥道理自己揣摩一下就懂了）唯一需要注意的点是画风lora和角色lora分开用虽然没问题，但在共用时，尽量用训练底模出图，不然会有概率色块污染情况，举个例子

我训练了一个我一个喜欢的画师狗姐（狗神煌）早期的画风lora，狗姐早期画风大概长这样

用训练底模配合人物lora的出图效果：

用非训练底模配合人物lora的出图效果:

差别是不是显而易见呢

最后谈谈学习率和学习步数吧，这个基本只影响拟合度，一般默认学习率就行，步数可以高点，毕竟过拟合的lora可以降权重解决，欠拟合就真没法解决了

到这里基本环节就结束了，剩下的交给ai吧，同时以上所说的全是个人感受，每个人的训练爱好和方式肯定天差地别，看我的图个乐就行了ヽ(ー_ー)ノ