ControlNet-XS发布：只需1%参数的轻量级文生图SD控制模块

Stable Diffusion已成为当下最受欢迎的人工智能创作工具之一，能够根据文本提示快速生成图片。然而，由于生成过程具有随机性，控制精度是一个问题。为了应对这个挑战，研究者设计了ControlNet模块，通过在图片生成的各个阶段添加控制点，使得结果更为符合预期。尽管如此，ControlNet的高参数量和巨大计算量成为了一个瓶颈。为此，海德堡大学近期推出了ControlNet-XS模型，它仅使用了原模型1%的参数量，但却实现了更为优秀的控制效果。

链接：https://github.com/vislearn/ControlNet-XS

ControlNet-XS通过深度的编码网络，能够捕获图片中复杂的语义信息。与此同时，它采用了简化的解码网络，以更为精准地添加控制点。

通过这种创新的结构设计，ControlNet-XS在保持控制效果的同时，大幅减少了参数量和计算量，不仅降低了模型的运行要求，还提高了其控制性能。

性能提升:

相较于ControlNet, ControlNet-XS在编码阶段获取了更丰富的图片特征，解码阶段利用特征也更为高效。

参数量的减少高达99%，但控制图片生成的能力却有所提升，这体现了ControlNet-XS在模型设计和优化上的成功。

作者观点：在学术层面，如何做轻量化和小型化方面的研究是一个恒久的主题，啥时候做都可以，而且对开发者非常友好。

在商业层面，ControlNet-XS可能会推动人工智能创作工具的发展，使得这类工具在低端硬件上也能运行流畅，从而降低技术应用的门槛，拓宽其应用范围。

特邀作者：早稻田大学计算机系在读博士 王军杰