聊斋是如何炼成的 | 实验编程AI艺术训练营3期第15课SDXL模型训练
实验编程AI艺术训练营3期第15课:
AI聊斋训练过程,附训练参数配置文件。
Stable Diffusion XL LoRA风格模型训练。
要点提示
数据集的处理及标注很重要(单独开一篇,可先参考文末附的教程)。
文末附上了几个不错的教程,推荐反复参考。
训练本身没有一次性完美解决方案,网上教程充满个人经验与玄学,需要多尝试。
训练的参数设置与训练目标息息相关,每人不一样,配合答疑来完成。
训练类型
最重要三类:
Dreambooth(训练得到大模型,对应C站上的checkpoints);
LoRA;
Textural Inversion(现在训练需求不多,主要场景是直接使用C站上训练好的Textural Inversion负关键词)。
时间紧可忽略的训练类型: Hypernetwork,基本过时,LoRA替代;
kohya_ss训练工具里的“Fine Tune”,跟Dreambooth Caption方式差不多,可Dreambooth平替。
本节讲如何在kohya_ss里训练SD XL、SD1.5版 LoRA 风格模型。 角色的训练网上有大量教程,角色训练比风格训练相对容易拿捏。
详细完整步骤见训练营课程。
本课训练参数配置文件一览
从小鹅通本节课程附件中下载。 AI聊斋SD1.5版 Liaozhai_sd1.5_v1.3.json
AI聊斋SDXL版 Liaozhai_xl_v1.0.json
其他第三方配置文件
推荐参考教程
训练工具官方文档
https://github.com/kohya-ss/sd-scripts/blob/main/docs/train_README-zh.md 训练工具官方推荐教程(含数据集处理)
https://github.com/bmaltais/kohya_ss#tutorials THE OTHER LoRA TRAINING RENTRY
https://rentry.org/59xed3 LoRA guide
https://rentry.org/2chAI_LoRA_Dreambooth_guide_english Stable Diffusion LoRA 训练不完全指北(1)
https://www.bilibili.com/read/cv23072377/ Stable Diffusion Lora locon loha训练参数设置
https://zhuanlan.zhihu.com/p/618758020 ULTIMATE SDXL LORA Training!
https://www.youtube.com/watch?v=N_zhQSx2Q3c&list=PLkIRB85csS_vK9iGRXNHG618HTQKhDrZX&index=16 推荐★ SDXL LORA STYLE Training!
https://www.youtube.com/watch?v=1BCYdd9r1To&list=PLkIRB85csS_vK9iGRXNHG618HTQKhDrZX&index=17 常用正则化图像下载
https://huggingface.co/datasets/ProGamerGov/StableDiffusion-v1-5-Regularization-Images
更多效果案例:
AI聊斋 | 陆判
AI聊斋 | 白莲教
AI聊斋话题
训练营3期已开课程:
1.1 课程体系介绍
1.2 生成式AI艺术创作过程
1.3 Colab版SD webui
2 SD webui本地安装
3 SD常用操作和学习路径梳理
4 SD webui常用操作(2),CLIP/VAE/修复与放大等
5 ControlNet基础
6 Multi ControlNet
7 ControlNet文字效果(Canny)
8 ControlNet文字效果(光影)
9 影像工作流分析-1
10 Deforum与Text to Video影像制作基础
11 SD EbSynth影像生成
12 SD EbSynth 进阶,视频遮罩的应用
13 通过RobustVideoMatting抠除视频背景并生成遮罩
14 SD模型训练(1)
15 SD模型训练(2)
后续:
AI交互,音画联动等
更多模型训练主题
其他综合应用
中间穿插讲解在
学习需求征集帖子
中的内容。
训练营、课程体系、会员详细介绍👇
实验编程AI艺术训练营2023报名及教学资源一览
AI艺术训练营3期介绍(视频)
StableDiffusion XL 模型训练(1) | AI训练营3期第14课
训练营3期 13 如何抠除视频背景并生成遮罩
训练营3期 12 影像进阶 SD EbSynth + 视频遮罩
训练营3期 11 SD EbSynth影像生成方法
训练营3期 10 Deforum与Text to Video影像制作基础
训练营3期 09 AI影像工作流分析-1
训练营3期 08 AI文字光影效果
训练营3期 07 AI文字怼一切
训练营3期 06 多重ControlNet
训练营3期 05 ControlNet基础
训练营3期 04 SD常用操作(2)
训练营3期 03
训练营3期 02
训练营3期 01
Stable Diffusion webui 本地安装教程 Windows(2023.6)
Stable Diffusion 性能优化 - xformers安装问题
Stable Diffusion上手路径与常用操作
Stable Diffusion视频生成时风格化与一致性的取舍
ControlNet各功能参数效果一览(一)
ControlNet各功能参数效果一览(二)
训练营3期在情报中心圈子内,课程持续添加中:
试听课、公开课见文末二维码。
加入情报中心圈子、或1v1超级会员,随到随学。
情报中心:
情报中心类似XX星球。汇总了课程、课件、源代码、资源、交流答疑。 有效期内无限畅享训练营、大帅课在内的多套课程,详见
教学资源一览
。
1v1超级会员:
导师制1对1长期辅导,日常答疑,视频会议。
含情报中心完整权益
,另加 AI Craft 联合课程系列。 面向群体、热门辅导主题等,详见
教学资源一览
。
部分课程
为DragGAN热身,实时AI音画交互案例
AI Craft 第1课报名 | AI单刷爱死机
课件已开放,今晚(周四)AI动画视频制作 | 大帅课第13期
课程动态|AI流体动画2-山水与正弦
课程动态|放肆篇-AI动画-流体效果1
课程动态|AI艺术入门篇Runway章课件更新
关于实验编程
关于实验编程 - 2023.2
部分教学资源索引:
yuque.com/code2art
试听课、公开课、课程咨询及微群加V:
floatbug
群将满,加V烦请注明: 来源(公B抖小知)、学校单位、专业行业、作品集/tw/ins等,高效交流。 您的鼓励,在看,点赞,收藏,转发,是我乱码的动力。
英文版全网ID:@avantcontra
公知小抖B:
实验编程