InvokeAI - SDXL 1.0入门教程

大家好,Hipster在这里。Invoke 3.0.1已经发布,并且支持SDXL。在我们的线性UI中,我们使得在UI中直接输入SDXL提示和使用Refiner变得非常简单。但是SDXL在提示方式上有一点点不同。所以我们想要介绍一下如何使用我们的UI来有效地使用SDXL模型。

首先您会注意到,当您切换到SDXL模型时,您现在有两个额外的提示框,即正面样式提示和负面样式提示。我们在线性UI中的SDXL实现方式是提供了一个主题提示框和一个样式提示框,可以把它们组合在一起以获得模型的最佳结果。

当您使用SDXL时,除非您确切知道您在做什么以及想要如何将提示传递给文本编码器,否则我们强烈建议使用“连接基本提示与样式”按钮。这会在传递给第二个编码器时把您的主题和样式组合在一起。坦白地说,这需要一些适应过程,但是对于SDXL来说,样式提示是最重要的字段之一。如果样式提示包含太多内容,您可能会失去很多连贯性。您也要确保不要在负面提示中过分提示。SDXL模型似乎真的不喜欢负面提示字段中有太多内容。所以真正把注意力集中在您不想看到的东西上,并尽量使其具有样式化的性质。

关于SDXL模型还有几件事我想提出。如果您使用FP16精度,您需要确保下载固定的VAE,与原始SDXL基础1.0模型一起发布的VAE文件在FP16运行中是损坏的,并且还生成了这种真正奇怪的罗曼蒂克异化,一些人认为它是一个水印。所以我们建议使用修复版本,它同时支持FP16并消除了图像上那种奇怪的扫描线外观。将新的VAE添加到Invoke中非常简单。只需将其放入auto和port文件夹中,它应该会在您的下一次刷新中出现在您的VAE框中。

使用SDXL时,您会想从1024 x 1024或具有大致相同像素数量的宽高开始。比如,如果您降低到896,您可能需要提高高度到1152。如果您降低到768,您需要提高到1280,等等。您真正需要确保它与SDXL模型训练的原始图像大致相同的像素大小,以获得所需的图像连贯性。在本视频中,我们将回到1024 x 1024。

最后,您可以切换Refiner模型的开关。我们发现,特别是随着一些fine tune的出现,基础模型就可以很好地工作。Refiner确实有能力为图像添加许多非常好的细节,但有时它可能有点薄弱。它不喜欢许多调度程序,您真的需要琢磨一套可靠的设置组合才能使它发挥作用。 所以Refiner是需要更多适应和试验的东西。只要有心理准备,在掌握它之前会有一些奇怪的图像产生。

在UI中选择的步骤数将是使用Refiner运行的步骤数。Refiner开始有点像图片到图片的去噪强度功能。这实际上是在图像中仍有一些噪声时告诉基础模型在什么步骤结束,以便它可以传递给Refiner运行所选步骤数量。通常,您会希望它在0.7到0.8之间,以便基础模型在结构上基本完成图像,真正留下最后润色的工作给Refiner。并且您需要确保为Refiner选择的步骤数大致与基于原始步骤数75%完成的估计剩余步骤数相匹配。在这种情况下,我的原始步骤数是40,75%是大约10步。您可以在周围进行一些额外的步骤。这个功能是完全可自定义的。但类似这样的设置是我会推荐的。

我发现在SDXL中使用欧拉调度器非常成功。一些Dpm plus plus调度器的结果看起来有点奇怪,我正在研究原因。但就目前而言,我推荐使用欧拉或祖传欧拉。

我们再创建一个Invoke。在未来几周内,我们预计会有许多SDXL微调模型可用。我们已经开始看到一些模型被发布。我看到的第一个是新的DreamShape XL模型。根据您的下载位置,如果您添加safetensors文件,您可以使用模型管理器像任何其他模型一样进行转换。

如果您想轻松开始SDXL提示,可以查看我们的贡献者KeyTurn在GitHub上创建的SDXL提示风格参考,详情中会有链接。您也可以在我们的Discord上找到更多信息。现在我们来试一个。我把提示参考删除了,因为这些是在Clip Drop网站上使用的样式,他们是将主题提示注入到样式中。我们实际上只是保持他们并将那两个配对。现在我们有了积极的,我也会在这里添加否定的。我还有一些其他的一般否定词汇,我会把它们加进来。如果您觉得有用可以参考。

就是这样。我知道我一直在重复,但我们还有更多即将到来的内容。敬请期待。一如既往,感谢您的观看。