欢迎光临散文网 会员登陆 & 注册

关于我在飞桨炼丹两周的心得

2022-11-07 00:58 作者:III天玥III  | 我要投稿

前言: 

对于这个心得,我也不知道有没有用,总结的对不对,反正就是上课摸鱼的时候写的,由于炼丹比较耗时间所以我获得的信息并不多,只能靠自己的几次炼制来总结。能想到的都了,至于例子,失败的例子数不胜数了,我就例举我成功的几个权重模型吧,(时钟猫系列、幻梦冰语系列)。 

如果有什么错误,也欢迎各位来指正,下面是正文: 

 

一、炼制模型的分类: 

1)模型分为两类,一类是人物实体模型,一类是画风模型。 

2)选择人物实体模型的时候AI会根据你给出图包的图片内容去自主识别判定“实体”并加以学习。而画风模型侧重的是画面整体的效果学习,比如明暗度、颜色饱和度等。 

二、训练面板说明: 

1)学习率越低,需要的最大步数越大,成功率越高,最大训练步数要大于等于每张学习次数*图片数量。 

2)这里需要注意的就是喂给Ai的图,长宽比一定要为1:1,因为当前飞桨只支持512*512的训练,如果比例不对的话系统自动缩放,学出来的东西.....大概率古神奥。 

3)最接近的词是你要训练的内容的“本质”,就一个简单的词,比如“星璇”本质上,就是girl 

4)飞桨训练出来的模型是PD模型而不是PT,目前飞桨还无法使用PT模型 

三、训练过程总结(人物): 

1)确定自己要炼制的模型 

2)配制图包 

3)建议:人物模型建议找基本相同的图片(无论是人物动作,还是表情,还是外貌),就像“天玥”的炼制图包,我是用一个固定的TAG反复roll图,roll出小1000张,然后挑出来60张去训练的,这60张图片的内容、画风基本上可以说是乍一看没区别的。 

四、训练过程总结(画风) 

画风的炼制相对于人物的炼制就简单了不少,画风的炼制可以是单纯的画风(幻梦冰语),也可以是把背景炼制进去(ClockCat)。只炼制画风的话,要求就是画风一样,内容可以不同,学习次数不要太高,每张20+次,每次30+张。如果想要背景,就需要背景相似度比较高,而且色调一致。 

五、训练步骤: 

1)对于怎么确定这个数值,我个人觉得是:你越想得到细节的东西,需要的图片越多,单张图片学习次数越大。 

2)而过大的步数则会出现“过拟合”状态,就是不仅人物被学进去了,人物身后的背景也会被学进去,这样就会导致更换背景或人物外貌时,原背景无法替换或者崩图的情况。而画本体+本体背景则会十分稳定。 

3)具体的训练步数到底怎么才是合适的,我这里有一些自己训练的数据参考(格式为:图片数、每张的训练数、最大训练步数),但不一定准确和好用:人物:90、70、6500;90、50、4700;90、30、3000 

70、80、6000;70、50、4000;70、30、2500 

50、90、5000;50、80、4500;50、70、3800 

40、100、4000;40;70;3500;40、50、2400 

30、120、4000;30、90、3000;30、30、1200 

20、200、4000;20、100、2500;20、50、1100 

画风:20、30、600;20、50、1100;25、40、1200 

30、30、950;30、40、1500;35、30、1300 

40、30、1200;40、50、2000;45、30、1400 

50、20、1000;50、30、1500;50、40、2100 

70、20、1500;70、30、2100;70、50、3600 

90、20、2000;90、30、3000;90、50、5000 

五、人物模型与画风模型的关系: 

首先人物模型自带画风,但画风模型不一定有人物。同时画风模型的基础权重对比与人物模型来说,是要低一些的。但并不是说“有人物模型了画风模型就不用了”,经过我的测试,画风模型在有对应人物模型的存在的时候(ClockCat与TianYue),更多的是起到一个稳定图像的作用,就是修改人物外貌,但会减少人物崩掉的概率,所以画风模型有时候是充当着“稳定器”的作用。其次,画风训练出来之后根据特点我给自己的画风分成了两组,一组是以“ClockCat”为经典的的“主要画风”,在绘图过程中起到“稳定”与作为画风的作用,而另一种是以“幻梦冰语”为例的“辅助画风”,这种的画风模型本身对图片的改变并不大,可以说改动少的EB,我当时甚至以为炼制失败了,后来测试的时候发现这个模型可以中和别的画风,让有高亮效果的图片变的柔和,同时优化人物与背景,在冰元素魔法上尤其突出,就很是神奇。 

六、测试模型:首先是查看模型的“本体”,即不带任何正反tag,只输入模型,其余数值全为默认数值,多次生成图片后,不看美观与否,看内容元素,比如“ClockCat”本体具有的元素是:“猫、女孩、钟的样子、法阵、画风”等,画风模型也一样,与训练用图的元素基本相同时,就可以初步判断:成了。第二步就是添加反面tag,查看优化后的本体元素,看图片是否有元素缺失(这个时候不是真丢失了,而是元素本身在其中权重较小,没有体现),然后加上未体现的元素,查看整体情况,然后是模型加权查看整体体现,效果仍然不错,就成功了一半。最后是改变人物外貌(瞳色、发色、姿势、、衣着),如果多次尝试后图没有崩或者崩的很少,基本上就可以说是成功了。 

七:权重对比: 

模型间权重大的有可能“屏蔽”权重小的,用初中生物类比就相当于“显性基因与隐性基因的关系”,在特定的外加tag强调下可以让“隐性表现”,更多的是模型间的融合,但不可否认两个人物模型放一块出现连体人的概率很小,至少我这甚至没出现过连体人。 

八、参数调试: 

(一)step调试:(默认50) 

1)step对应的AI的推理步数,步数越高,越接近tag描述,画的内容也会被不断完善。同时在一定程度上会让图片变得清晰。 

2)step并不是越高越好,基本上AI是每15步-20步会出现一次“重新排版”,即画出与上一步完全不同的画。 

3)调试步数可以清楚的知道AI“先画什么后画什么”,这也对应着AI的绘画重点分配。比如我70步的时候,人物有胳膊,我调回60步,整体没变但胳膊没了,这个时候就能确定:胳膊实在其他元素画完之后才画的。 

(二)cfg调试:(默认7.5) 

1)cfg即AI对tag的重视程度,cfg越高,AI画的就会越接近tag,但cfg过高会“只有tag”,出现古神,而低会让AI放飞,所以cfg的调整也十分重要 

2)我的常用cfg参数调整范围:7-16 

(三)图片大小:(默认512*512) 

1)在飞桨里最大图片为512*10242)长宽必须为64的倍数 

2)不同的图片大小AI绘制的内容也会有所区别,例如:一般竖版的(1024*512)容易出现人物全身;横版则会比较。。精致?,1:1的大小AI会比较偏向于上半身绘画。(以上均在无tag强调的情况下 

3)出图保存的时候建议50-70图一存(打包下载),压缩包过大会出现无法下载的情况 

(四)长度上限倍数:(默认为3) 

1)一个长度上限为77(似乎,我忘了),即AI可以识别的tag数量,默认为3,也就是210多 

2)tag很多,但图片里没有,可以试着调一下上限 

(五)采样器:(默认DDIM) 

1)每个采样器对图片绘制的侧重点不同,看着选就好2)问就是我没找到啥规律,每次看着换 (玄学抽奖)。 

(六)超分模型:(默认为falsr_a) 

1)默认就好 

(七)精度:(默认float32) 

1)精度越高图片质量越高 

2)不用动 

(八)括号修改权重 

1)有啥括号就用啥 

(九)模型:(默认waifu) 

1)多种模型有不同的侧重点,网页里有详解 

2)记得改成NA模型(MoososCap/NOVEL-MODEL) 

关于我在飞桨炼丹两周的心得的评论 (共 条)

分享到微博请遵守国家法律