福瑞lora训练心得
这是福瑞lora的个人心得 没有基础部分(我也是跟人看视频学的)
主要解决个人遇到的福瑞lora跟正常人物训练有区别的问题部分
lora训练基础从秋葉aaaki佬视频学:https://www.bilibili.com/video/BV1fs4y1x7p2/?spm_id_from=333.999.0.0&vd_source=be3f3a1fe292f9cdce68a3276125955c
lora脚本用的青龙圣者佬的脚本:https://www.bilibili.com/video/BV1pA411m7WA/?vd_source=be3f3a1fe292f9cdce68a3276125955c
正则化使用看青龙圣者的视频:https://www.bilibili.com/video/BV1oP411f7fi/?spm_id_from=333.788&vd_source=be3f3a1fe292f9cdce68a3276125955c
1.推荐底模Crosskemono2.0
我试过很多福瑞MIX模型这个是肢体乱飘最少的(很关键) 这作者就是赛博福瑞菩萨 去civitai上直接搜Crosskemono
2.推荐装上tagger
不知道咋装咋用可看这个:https://www.bilibili.com/video/BV1924y1M7Zd/?spm_id_from=333.337.search-card.all.click&vd_source=be3f3a1fe292f9cdce68a3276125955c
3.推荐训练集
能至少包括(正位 侧位 后位)*(站 蹲 坐 躺 侧躺 以及一些不好描述的姿势)的全身(一张图里包括完整组合的头身子双手双脚尾巴)图片各一个最佳 其它全身和特写想加就加但最好别加头没在里面的特写
4.推荐打标
首先直接用WEBUI训练里的图像预处理缩放+打标(跟秋葉aaaki佬视频一致,不过我推荐选择使用 deepbooru 生成说明文字(tags)和Auto-sized crop而不是视频里的使用 deepbooru 生成说明文字(tags)和自动焦点裁切)
然后用tagger插件打标 进入里面的批量处理(英文界面Batch from directory)然后(英文界面Action on existing caption)选择“放后面” 勾选去除重复标签(英文界面Remove duplicated tag) 可靠性(英文界面Threshold,下面有个滑动条)选0.3 模型选WD14-VIT-V2-GIT(我只用过这个 其他应该没太大影响) 去除使用空格替代下划线(英文界面Use spaces instead of underscore)的勾选 勾选上略过括号(英文界面Escape brackets)
最后用 秋葉aaaki佬训练包里的打标工具给所有图片加上(或者已有的置顶) 关键词 furry furry_female (如果你训练的都是同一个物种,最后还可以加上物种)
福瑞训练通常包括大量不同特征 所以选择不删多打标的策略
5.关键点,推荐使用正则化拆分部位训练
因为相对于正常人来说AI不咋认识福瑞,同时对福瑞的一些部位关键词比如XXX_hands反应不佳,不切割部位容易特征丢失,而直接切割部位训练容易给你组装成梦魇融合怪,尤拆开练肉垫容易给你把脚装手上,拆开练大尾巴容易给你把尾巴装脚上,其它特殊的猫/特殊的DIO/触手等也是容易装得难以言喻
以zaush画师大佬的水獭训练集为例子,把训练集复制成四份,分别取名:

推荐对物种(如果不是单一物种的画风训练则换成furry,这是为了让AI学习全身姿态) 手(hands) 腿(legs) 尾(tail)进行正则强调(如果其它部位有特征,比如翅膀或你懂的,就加一份翅膀或你懂的,文件名格式按照这个来) 同时记得删掉hands,legs,tail中完全不含hands,legs,tail的图片
然后以其它类似的水獭图片制作正则集:

otter(按上面根据需要换成其它物种或furry)放四肢(包括尾巴翅膀什么的)明显俱全的全身照,hands放手部特写最好有几张带肩的(几张就行也不能多了),同理legs和tail里分别放腿跟尾巴特写并最好有几张带臀的,选择明显的,正面背面侧面俱全为佳,同时hands legs tail之间最好别有重叠元素(比如尾巴的正则集图片宁愿小点也别把腿跟手照进去)
你会发现直接切割部位再用对应关键词训练容易组装成梦魇融合怪,而用包含该部位的全身图片+正则强调该部位训练则可以让AI知道这些东西该装在哪!
6.参数
其实有了正则化后参数差不多就不会炸 最近一个比较满意的是
数据集:22张 用正则训练对应部位的文件夹有相应删减
768X768 一次2张 40循环 network_dim64D network_alpha32 clip2 学习率青龙脚本推荐的学习率 cosine_with_restarts,lr_scheduler_num_cycles = 3 优化器Lion
学习率那一行最下面加上
$shuffle_caption = 1 # 随机打乱tokens
$keep_tokens = 4 # 随机打乱时保留前N个不变 (这个根据你要固定置顶的TAG提升)
翻到下面rior_loss_weight=0.1