欢迎光临散文网 会员登陆 & 注册

聊斋是如何炼成的 | 实验编程AI艺术训练营3期第15课SDXL模型训练

2023-10-06 20:34 作者:Contra实验编程  | 我要投稿

实验编程AI艺术训练营3期第15课:

AI聊斋训练过程,附训练参数配置文件。

Stable Diffusion XL LoRA风格模型训练。

要点提示

数据集的处理及标注很重要(单独开一篇,可先参考文末附的教程)。

文末附上了几个不错的教程,推荐反复参考。

训练本身没有一次性完美解决方案,网上教程充满个人经验与玄学,需要多尝试。

训练的参数设置与训练目标息息相关,每人不一样,配合答疑来完成。

训练类型

最重要三类:

Dreambooth(训练得到大模型,对应C站上的checkpoints);

LoRA;

Textural Inversion(现在训练需求不多,主要场景是直接使用C站上训练好的Textural Inversion负关键词)。

时间紧可忽略的训练类型: Hypernetwork,基本过时,LoRA替代;

kohya_ss训练工具里的“Fine Tune”,跟Dreambooth Caption方式差不多,可Dreambooth平替。

本节讲如何在kohya_ss里训练SD XL、SD1.5版 LoRA 风格模型。 角色的训练网上有大量教程,角色训练比风格训练相对容易拿捏。

详细完整步骤见训练营课程。

本课训练参数配置文件一览

从小鹅通本节课程附件中下载。 AI聊斋SD1.5版 Liaozhai_sd1.5_v1.3.json

AI聊斋SDXL版 Liaozhai_xl_v1.0.json

其他第三方配置文件

推荐参考教程

训练工具官方文档

https://github.com/kohya-ss/sd-scripts/blob/main/docs/train_README-zh.md 训练工具官方推荐教程(含数据集处理)

https://github.com/bmaltais/kohya_ss#tutorials THE OTHER LoRA TRAINING RENTRY

https://rentry.org/59xed3 LoRA guide

https://rentry.org/2chAI_LoRA_Dreambooth_guide_english Stable Diffusion LoRA 训练不完全指北(1)

https://www.bilibili.com/read/cv23072377/ Stable Diffusion Lora locon loha训练参数设置

https://zhuanlan.zhihu.com/p/618758020 ULTIMATE SDXL LORA Training!

https://www.youtube.com/watch?v=N_zhQSx2Q3c&list=PLkIRB85csS_vK9iGRXNHG618HTQKhDrZX&index=16 推荐★ SDXL LORA STYLE Training!

https://www.youtube.com/watch?v=1BCYdd9r1To&list=PLkIRB85csS_vK9iGRXNHG618HTQKhDrZX&index=17 常用正则化图像下载

https://huggingface.co/datasets/ProGamerGov/StableDiffusion-v1-5-Regularization-Images

更多效果案例:

AI聊斋 | 陆判

AI聊斋 | 白莲教

AI聊斋话题

训练营3期已开课程:

1.1 课程体系介绍

1.2 生成式AI艺术创作过程

1.3 Colab版SD webui

2 SD webui本地安装

3 SD常用操作和学习路径梳理

4 SD webui常用操作(2),CLIP/VAE/修复与放大等

5 ControlNet基础

6 Multi ControlNet

7 ControlNet文字效果(Canny)

8 ControlNet文字效果(光影)

9 影像工作流分析-1

10 Deforum与Text to Video影像制作基础

11 SD EbSynth影像生成

12 SD EbSynth 进阶,视频遮罩的应用

13 通过RobustVideoMatting抠除视频背景并生成遮罩

14 SD模型训练(1)

15 SD模型训练(2)

后续:

AI交互,音画联动等

更多模型训练主题

其他综合应用

中间穿插讲解在

学习需求征集帖子

中的内容。

训练营、课程体系、会员详细介绍👇

实验编程AI艺术训练营2023报名及教学资源一览

AI艺术训练营3期介绍(视频)

StableDiffusion XL 模型训练(1) | AI训练营3期第14课

训练营3期 13 如何抠除视频背景并生成遮罩

训练营3期 12 影像进阶 SD EbSynth + 视频遮罩

训练营3期 11 SD EbSynth影像生成方法

训练营3期 10 Deforum与Text to Video影像制作基础

训练营3期 09 AI影像工作流分析-1

训练营3期 08 AI文字光影效果

训练营3期 07 AI文字怼一切

训练营3期 06 多重ControlNet

训练营3期 05 ControlNet基础

训练营3期 04 SD常用操作(2)

训练营3期 03

训练营3期 02

训练营3期 01

Stable Diffusion webui 本地安装教程 Windows(2023.6)

Stable Diffusion 性能优化 - xformers安装问题

Stable Diffusion上手路径与常用操作

Stable Diffusion视频生成时风格化与一致性的取舍

ControlNet各功能参数效果一览(一)

ControlNet各功能参数效果一览(二)

训练营3期在情报中心圈子内,课程持续添加中:

试听课、公开课见文末二维码。

加入情报中心圈子、或1v1超级会员,随到随学。

情报中心:

情报中心类似XX星球。汇总了课程、课件、源代码、资源、交流答疑。 有效期内无限畅享训练营、大帅课在内的多套课程,详见

 

教学资源一览

1v1超级会员:

导师制1对1长期辅导,日常答疑,视频会议。

含情报中心完整权益

,另加 AI Craft 联合课程系列。 面向群体、热门辅导主题等,详见

 

教学资源一览

部分课程

为DragGAN热身,实时AI音画交互案例

AI Craft 第1课报名 | AI单刷爱死机

课件已开放,今晚(周四)AI动画视频制作 | 大帅课第13期

课程动态|AI流体动画2-山水与正弦

课程动态|放肆篇-AI动画-流体效果1

课程动态|AI艺术入门篇Runway章课件更新

关于实验编程

关于实验编程 - 2023.2

部分教学资源索引:

yuque.com/code2art

试听课、公开课、课程咨询及微群加V:

floatbug

群将满,加V烦请注明: 来源(公B抖小知)、学校单位、专业行业、作品集/tw/ins等,高效交流。 您的鼓励,在看,点赞,收藏,转发,是我乱码的动力。

英文版全网ID:@avantcontra

公知小抖B:

实验编程

聊斋是如何炼成的 | 实验编程AI艺术训练营3期第15课SDXL模型训练的评论 (共 条)

分享到微博请遵守国家法律