通常来说，diffusion模型都需要几十步降噪才可以成功从噪声图片扩散到高质量的图片。但是谷歌提出了UFOGen（Ultra-Fast One-Step Large Scale Text-to-Image Generation via Diffusion GANs），通过融合扩散模型和GAN（生成对抗网络）目标，实现了在单步骤内根据文本描述生成高质量图像的能力。UFOGen解决了传统扩散模型中多步推理的高计算成本问题，成为首批实现一步文本至图像生成的模型之一。此外，UFOGen在多种下游任务中展现了其多功能性。

论文：https://arxiv.org/abs/2311.09257

Readpaper：https://readpaper.com/paper/4823094766841364481

详细介绍

UFOGen模型架构：

UFOGen结合了扩散模型和生成对抗网络（GAN）的特点。扩散模型以其生成高质量图像的能力而闻名，而GAN以其生成速度快和效率高著称。

在UFOGen中，扩散模型的角色是提供一个稳健的图像生成过程，而GAN的目标则是优化这个过程，使其更加高效和快速。

图像质量与多样性：

UFOGen不仅提高了生成速度，还保持了图像的高质量。这意味着生成的图像在细节和真实感方面与传统多步骤模型相媲美。

此外，模型还能处理多样的文本输入，生成各种风格和主题的图像，显示出极高的适应性和多样性。

可以看出来，比起以蒸馏为代表的LCM，UFOGen使用的步数更少并且质量更好。

下游应用潜力：

UFOGen的快速和高效特性使其在多种应用场景中具有巨大潜力，例如实时图像生成、个性化内容创作、虚拟现实等。

在这些应用中，UFOGen能够根据用户的具体需求快速生成图像，为用户提供更加丰富和个性化的体验。比如，可以应用到image-to-image和Control Net中。

观点

学术：UFOGen的出现可能会引发人工智能领域对单步生成模型的更多研究，推动生成模型的效率和质量向更高水平发展。它为未来的研究提供了一个新的方向，即如何在保持生成质量的同时减少计算资源的消耗。

商业：在商业应用方面，UFOGen的高效性和多功能性使其在广告、娱乐、设计等行业具有巨大的应用潜力。特别是在需要快速生成大量个性化内容的场景中，UFOGen可以大幅提高效率和降低成本。

特邀作者：日本早稻田大学计算机系博士生 王军杰