造梦师手记:如何靠AI成为女朋友的私房摄影师


今天有个好消息,最新版的ControlNet(版本1.1.401)终于支持SDXL了。
由于和SD1.5没什么特别的区别,除了需要下载几个新的模型,我就不单独写教程了。
今天要给大家推荐的,是一个叫做EasyPhoto的插件,可以用5-20张照片,生成固定的人脸,然后生成任意场景的照片。
从操作流程上看,和妙鸭相机如出一辙。
从思路上看,大致是训练一个特定的LoRA,然后使用这个LoRA适配各种提示词。
简单的测试了下,发现逻辑果然如此,系统自动生成了多个LoRA,然后选取其中训练的较好的一个拷贝至LoRA目录中。
和手动训练一个LoRA相比,EasyPhoto能够自动打标、自动生成LoRA,基本上可以一键式处理,方便新手入门。
如果有时间和精力训练LoRA,不推荐使用该插件,但如果追求简单,这个插件能起到意想不到的效果。
使用这个插件,所有换脸的插件都可以say byebye了,毕竟,LoRA素材丰富,出图效果更好。
1、安装
在扩展--从网址安装输入:
https://github.com/aigc-apps/sd-webui-EasyPhoto
推荐使用GitHub代理
https://ghproxy.com/https://github.com/aigc-apps/sd-webui-EasyPhoto

2、上传训练照片,5-20张,越多越好,最好是不同角度。
训练的数值选择默认即可。

3、开始训练
点击“start training”开始训练,插件会提示输入ID,并最终以此命名LoRA名称。
训练开始时,程序第一次运行会先开始下载模型,根据网络等情况,10-30分钟不等。
下载完成后,进入LoRA训练过程。
根据系统性能(主要是显卡),训练时间从10分钟到1小时(可能更长)不等,命令行可以看到训练进度。
训练完成后,会在以下目录输出10个LoRA文件,outputs\easyphoto-user-id-infos\你输入的ID\user_weights
并将其中一个命名为“你输入的ID.safetensors”,同时将该LoRA拷贝至model\lora
4、使用参考图片“换脸”
训练完成后,LoRA已经可以和普通LoRA完全一样使用了(基于SD1.5)。
不过,插件还提供了更加便捷的一键式使用方式。

可以根据插件提供的默认参考图片(也可以自行上传),一键生成换脸的的照片。
此处EasyPhoto使用了ControlNet插件,如果ControlNet的模型不全,还会遇到下载模型的情况。

选择好ID编号,点击Start即可生成。
此处有几个选项,可以设置权重值,选项的含义:
1.After Face Fusion Ratio代表第二次人脸融合的比例,数值越高生成图片越接近训练对象。
2.Crop Face Preprocess代表生成前是否裁剪图像,可以适应人脸较小的图片。
3.Apply Face Fusion Before代表是否进行第一次人脸融合。
4.Apply Face Fusion After代表是否进行第二次人脸融合。

5、视同普通LoRA进行使用
在SD1.5的模型中,可以使用该LoRA。
一般来说,人像类LoRA的权重不要太高,在0.5-0.8之间效果比较好。
