欢迎光临散文网 会员登陆 & 注册

闲言少叙,直接上表,训练loRA,用这参数

2023-04-09 07:44 作者:凝心之火  | 我要投稿

以秋葉akkki的训练包为基准,由上到下的顺序进行逐项填写即可。

Dim越大,耗费GPU越高,最后生成的loRA模型越大,质量提升有限。

这个参数设置对应的样本量在左侧,大概演算时间在右侧。

LoCon Alpha的数值可以调节为1,防止极小收束的发生。

稳定率80%,丢包率维持在0.12左右。

泛化度良好,接受率约70%。

LoRA训练参数 2023-04-09版


闲言少叙,直接上表,训练loRA,用这参数的评论 (共 条)

分享到微博请遵守国家法律