Embeddings | LoRa | Hypernetwork概念简析,懂了才

Embeddings(词嵌入)的概念和三
种应用

C站里筛选时以另外一种形式被表达
“Texttual Inversion” 文本倒置
模型checkpoint比作字典,em就是字典上的小书签,精准地为你指向个别字词的含义

有时也可以那么帮我们实现特定形象的呈现,例如猫又,em会汇总猫,人,妖怪的信息
em在深度学习领域全称“嵌入式向量”
后缀一般是.pt
位置 根目录/embeddings
em不需要特别调用,只需要在提示词中调用
反推提示词技巧:图生图导入图片,cliphe和deepbooru反推
db速度和识别准确度更具有优势
反推的词筛选修改后加入文生图提示词里,生成的形象就更准确了
Em对ai绘画的帮助
1.可以为我们指向某种特定的形象,例如D.VA
对于一些更为广泛,容错率更高的角色概念,em表现会好很多
2.一个有趣的例子chaituner em(角色转身)
作者给出的基本提示词格式

x描述人物特点,例如dva的em
y着重描写服饰

一次生成里可以激活多个em,不会冲突,但具体效果要再观察
3.解决ai不会画手的痛点
写入反向提示词里
以easynegative为例,是一种综合的全方面的基于负面样本的提炼,解决的问你可能包括肢体错乱,颜色混杂,噪点和灰度异常等
基于counterfeit训练,对大多数二次元模型有效
deepnegative基于真人模型训练
Lora 低秩适应模型
Low-Rank Adaptation Models
作用:帮助你向ai传递、描述一个特征准确、主题清晰的形象
例如,小猪佩奇
如果说em是轻薄便利的小书签,lora就是一张加载里面的彩页,他直接写明了佩奇是什么,有什么特点,可以用什么方式去呈现
位置:根目录/models/lora
触发:<lora:名字>
某些lora也会提供触发提示词(Trigger Word),可以加上强化效果
降低lora权重,可以降低Lora对模型画风的影响。0.5-0.8之间都可以确切地保留特征但减弱对画面风格的影响
Hypernetwork超网络
经由他让ai学习一些原本不存在他的世界里的东西,并且描述清楚一步到位
lora是传单,hy就是小卡片
区别:hy一般用于改善生成图像的整体风格,“画风”。这个画风比checkpoint定义的画风更精细,不是二次元和真实系 的区别,类似梵高和莫奈这种的小区别
位置:根录/models/hypernetwork
使用方法:设置-附加网络-将超网络(Hypernetwork)添加到提示词