欢迎光临散文网 会员登陆 & 注册

Embeddings | LoRa | Hypernetwork概念简析,懂了才

2023-07-03 23:25 作者:笑问穹苍  | 我要投稿

文本嵌入/嵌入式向量(Embeddings)

词嵌入模型的基本概念:

它是一种占用空间极小的模型文件,通常只有几十kb左右,如果说Checkpoint是一本大字典,那么Embeddings就像是上面的一片小“书签”,它能够精准的指向个别字、词汇的含义,从而提供一个极其高效的索引。这种索引除了能帮AI更好地画好字典里已经有的东西以外,有时候也能实现特定形象的呈现。

它的放置路径是在根目录的同名文件夹里。

Embeddings不需要调用,只需要在特定的提示词里用特定的“咒语”去召唤它。

对于一些广泛,容错率高的概念,Embeddings的表现会不错。

以EasyNegative为例子

它只需要一个提示词进行激活,但这个提示词需要放在负面提示词里。进行提交后就会进行修复画面错乱的手指问题。

但是EasyNegative能解决的问题远不止多了少了的手或手指,它是一种综合的、全方位的基于负面样本的提炼,解决的问题还包括肢体错乱、颜色混杂、噪点和灰度异常等。它可以单独使用也可以加入提示词中使用,对正面画面内容影响不大。而不同的EasyNegative针对的类型可能会有些许区别,EasyNegative是基于Counterfeit进行训练的,作者测试对大多数二次元的模型都有较好效果,但应用到真人模型可能效果就没有正面理想了,而另一款DeepNegative是针对真人模型来训练的,可能会更加适合,也可以根据具体使用来选择。


低秩模型(LoRa)

LoRa的作用在于帮助向AI传递、描述某一个特征准确、主体清晰的形象。

如果说Embeddings是轻薄便利的小书签能通过索引给出一些关键信息,那么LoRa就像夹在书中的彩页一般,它直接写清楚了需要信息的所有特点介绍,所以AI对这种信息的了解一定是更为准确的,因此,它一定是比Embeddings所占用空间更大一点,容量大概在100-200MB左右。

目前LoRa的主要应用特点在于各种游戏、动漫角色的二次创作构建,因为训练LoRa需要针对一个对象各方各面的素材,如果是人物,可能还需要不同姿势、表情、甚至是不同画风的素材。


超网络(Hypernetwork)

尽管在作用原理上有所差异,但是最终呈现的效果大致是和LoRa相似的,如果说LoRa是传单,那么把Hypernetwork理解为小卡片意思也相差不远,但有一点显著区别,Hypernetwork一般被用于改善画风,这个画风比checkpoint所定义的画风更为精细一些,不像二次元与真实系之间的那种大的区别,有点像梵高和莫奈之间的小区别。

使用前需要先到设置里找到一个附加网络的选项,在里面选择对应的超网络添加到提示词里

在网络上多数研究者对于Hypernetwork在图像生成方面的评价并不好,至少不如LoRa和Embeddings那么好,其次它的作用其实可以部分被LoRa所取代,有不少优秀的LoRa通过对训练的样本把控已经实现了画风的塑造植入。尽管如此,在需要实现不同艺术风格时,它仍然可以提供不小的帮助。

Embeddings | LoRa | Hypernetwork概念简析,懂了才的评论 (共 条)

分享到微博请遵守国家法律