GAN(生成对抗网络)和他25个儿子都各自做什么工作?
在写这篇文章之前,我一直认为这些技术是GAN的儿子,但是有些文章又说是GAN的兄弟,秉承着学术的严谨性,我去求证了专业老师,确定了一下GAN的儿子都是谁,才敢把这篇文章发出来。
今天将带大家了解一下GAN和它的儿子们,介绍一下他们在商业上和在日常中的应用场景。结合实际让你涨知识的同时捕捉研究创作灵感。
(如有错误,请评论区或者私信指出,学习路上共同进步)
01 GAN:创建动漫角色
游戏开发和动画制作成本高昂,并且会聘请许多制作艺术家来完成相对常规的任务。GAN可以自动生成和着色动漫角色。

生成器和鉴别器由多层卷积层、批量归一化和带有跳过连接的ReLU组成。

02 GAN:姿势引导人物图像生成
通过额外的姿势输入,我们可以将图像转换为不同的姿势。例如,右上角的图像是地面实况,而右下角的图像是生成的图像。

下面的细化结果列是生成的图像。

该设计由一个2级图像生成器和一个鉴别器组成。生成器使用元数据(姿势)和原始图像重建图像。鉴别器使用原始图像作为输入到CGAN设计的标签的一部分。

03 CycleGAN
跨域传输GAN可能是第一批商业应用。这些GAN将图像从一个领域(比如真实风景)转换到另一个领域(莫奈画作或梵高)。

例如,它可以在斑马和马之间转换图片。

CycleGAN构建了2个网络G和F,以构建从一个域到另一个域以及反向的图像。它使用判别器D来评价生成的图像有多好。例如,G将真实图像转换为梵高风格的绘画,Dy用于区分图像是真实的还是生成的。
域 A ➝ 域 B:

我们在反向域B➝ 域A中重复该过程:

04 StarGAN
StarGAN 是从一个域到另一个域的图像到图像转换。例如,给定一张快乐的脸,我们想把它转换成一张恐惧的脸。

在 (b) 中,生成器基于输入图像和目标域标签(例如生气)生成假图像。在(c)中,给定这个假图像和图像的原始域(比如快乐),它使用生成器重建图像。
在(d)中,我们将真实和虚假图像提供给鉴别器,以将其标记为真实与否以及其域分类。成本函数将涉及重建误差以及识别图像及其标签的鉴别器成本。

05 PixelDTGAN
根据名人图片推荐商品已受到时尚博主和电子商务的欢迎。PixelDTGAN从图像创建服装图像和款式。



06 Super resolution(SRgan)
从较低分辨率创建超分辨率图像,这是GAN显示出非常令人印象深刻的结果的一个领域,具有直接的商业可能性。

与许多GAN设计类似,它由多层卷积层、批量归一化、高级 ReLU 和跳过连接组成。

07 Progressive growing of GANs
Progressive GAN可能是第一个展示类似商业图像质量的GAN。下面是由GAN创建1024×1024名人外观图像。

它采用分而治之的策略,使训练变得更加可行。卷积层一次训练一次以构建 2 倍分辨率的图像。

分9个阶段,生成1024×1024图像。

08 StyleGAN2
StyleGAN2生成高分辨率图像。

09 高分辨率图像合成(High-resolution image synthesis)
这不是图像分割,相反,从语义地图生成图像。收集样本非常昂贵。我们用生成的数据补充训练数据集以降低开发成本,在训练自动驾驶汽车时生成视频会很方便。

网络设计:


09 GauGAN
GauGAN 在给定输入语义布局的情况下合成逼真的图像。

10 文本到图像(StackGAN)
文本到图像是域转移GAN的早期应用之一。我们输入一个句子并生成多个符合描述的图像。


文本到图像合成——另一个实现:

11 人脸合成(TP-GAN)
合成不同姿势的人脸:使用单个输入图像,创建不同视角的人脸。
例如,使用它来转换更容易进行人脸识别的图像。


图像修复
几十年前,修复图像一直是一个重要的主题。GAN用于修复图像并用创建的“内容”填充缺失的部分。

12 Learn Joint Distribution(CoGAN)
创建具有不同面部特征P(金发、女性、微笑、戴眼镜)、P(棕色、男性、微笑、不戴眼镜)等组合的GAN是昂贵的……维度使得GAN的数量呈指数增长。
相反,我们可以学习单个数据分布并将它们组合起来形成不同的分布,即不同属性组合。


13 DiscoGAN
DiscoGAN提供了匹配风格——许多潜在的应用,DiscoGAN无需标签或配对即可学习跨域关系。例如,它成功地将风格(或图案)从一个领域(手提包)转移到另一个领域(鞋类)。

DiscoGAN和CycleGAN在网络设计上非常相似。

Pix2Pix
Pix2Pix是一种图像到图像的转换,在跨域GAN的论文中经常被引用。例如,它将卫星图像转换为地图(左下角)。

14 domain transfer network DNT
(域传输网络)从图片创建表情符号。


15 纹理合成(MGAN)
MGAN的应用

16 Image editing(IcGAN)
重建或编辑具有特定属性的图像。


17 Face aging(Age-cGAN)


18 DeblurGAN
DeblurGAN执行运动去模糊。

19 神经照片编辑器
基于内容的图像编辑:例如,扩展发带。

优化图像

20 物体检测(Perceptual GAN)
这是使用GAN增强现有解决方案的一个应用,可以用在电子眼上面。

21 图像混合(GP-GAN)
将图像混合在一起。

22 视频生成
创建新的视频序列,它识别什么是背景并为前景动作创建新的时间序列。

23 生成3D对象(3DGAN)
这是一篇在使用GAN创建3D对象时经常被引用的论文。
http://papers.nips.cc/paper/6096-learning-a-probabilistic-latent-space-of-object-shapes-via-3d-generative-adversarial-modeling.pdf


24 Music generation
GAN可以应用于非图像领域,比如作曲。


25 医疗(AnoGAN)
GAN 还可以扩展到医疗行业,用于异常检测,例如肿瘤检测中的医学。


如果文章有问题
或者你需要学习上的帮助
解决职业上困惑可以来微信公众号练习学姐帮忙
↓↓↓

参考文档:
https://jonathan-hui.medium.com/gan-some-cool-applications-of-gans-4c9ecca35900
码字不易,点赞鼓励,感谢各位!爱你们!