精读CycleGAN论文-拍案叫绝的非配对图像风格迁移

GAN领域必读论文

核心算法

两个图像域，两个生成器，X-Y；Y-X

俩个循环一致性损失

随便给两个域图片就可以转换风格

Image-to-image

循环一致性损失

用非配对数据集实现图像转译

双射

“思密达现象”

语料库

非配对算法

transitivity

神经网络风格迁移 单张风格迁移，神经网络生成

公式

对抗损失函数来映射函数

生成器无法控制第一项

循环一致性损失函数 核心ideal

1. 使得transfer进去的图像仍保留原始图像的信息，防止“思密达”现象
2. 间接实现了pix2pix的paired image translation功能
3. 防止模式崩溃，总生成相同图像

例子图 ，加上循环一致性时，没有丢失原始图像的信息

实现就是把生成图和原始图算L1范数，逐元素作差取绝对值期望求和

整体损失函数

循环一致性损失前的参数用于调节强度

两个范式可以看做两个自动编码器

网络结构

L2范数更加稳定

结果

评价指标

人工评估-AMT图灵测试

结果对比

航拍转地图

FCN打分 语义分割算法 label比较

照片转语义标注

baseline

pix2pix配对数据

损失函数分析

图像重建质量

配对图像上任务效果

有趣应用

画风迁移

物体变身

季节迁移

油画转照片 颜色保存没那么好

可加一个损失函数

图像增强

缺点和讨论

不擅长形状，三维信息，没有理解高级语言，不理解先验知识

和配对数据的gap

致谢

画家风格迁移展示

重建

小光圈转大光圈

失败案例

参考文献

数据集，训练细节