看哭了！AI修复让李大钊陈延年们露出微笑|我们又能做些什么？

刷微博看到人民日报这条消息瞬间泪目了！前段时间追《觉醒年代》之后把中国现代史又了解了一遍后，心中的爱国之情更浓了，看到这个根本绷不住。

看到李大钊，王尽美，陈延年，邓中夏，夏明翰，向警予，方志敏，赵一曼，江竹筠，董存瑞先烈们的微笑，学姐脑海里只剩了一句话：“百年后的中国，已如你们所愿！”

当年！他们也不知道自己有多大的能量，但他们不畏炮火，坚持斗争，立志结束被压迫的混乱局面，一步一个脚印的走出了当今中国特色社会主义道路。

现在！我们读书，学AI不管是为了研究，还是为了找到好工作，都是在为中国的发展贡献自己的一份力量，纳税人按时纳税也很光荣的！

AI修复背后的技术大牛

@大谷的游戏创作小屋，学姐从2020年8月关注他的。当时这位大牛发了《AI上色老北京》的作品（文章末尾有传送门），立马一键三连加关注！

这次的作品又上了热门，刚开始学姐看得时候猜测他这次用的技术是styleGAN，后来看量子位对他的采访，原来是用了GPEN，RIFE，DeOldify、Deep Exemplar based Video Colorization，Artbreeder和Topaz Labs技术。

GPEN

大谷这次修复人脸照片主要GPEN技术，GPEN可以将模糊的照片变得清晰。

GPEN全称GAN prior embedded network，也就是GAN先验嵌入式网络。

简单来说就是，首先学一个用于高质量人脸图像生成的GAN，并将其嵌入到U-shaped DNN中作为先验解码器，然后用一组合成的低质量人脸图像对先验嵌入的GAN DNN进行微调。

(a) 是一个GAN先验网络(b)是一个GAN块的细节部分(c)是GPEN的完整的架构

前面学姐提到，猜测过大谷是不是用了StyleGAN，这个猜测是因为StyleGAN和CLIP结合可以达到修图的效果，而且还可以进行人脸编辑。

后来知道他是用了GPEN，然后就想知道为什么没有用StyleGAN，在寻找答案的过程中找到了一篇论文，这篇论文也许能告诉你我答案：

对于GAN块的构造，有几种选择。在图像修复工作中采用了StyleGAN2的架构，因为其生成高清图像的能力很强。

GAN的块数等于U形DNN中提取的跳过特征映射的个数（和噪声输入的个数），与输入人脸图像的分辨率有关，StyleGAN在每个GAN块中需要两个不同的噪声输入。

不同于StyleGAN，为了使GAN先验网络能够容易地嵌入到U形GPEN中，噪声输入以相同的空间分辨率重复应用到所有的GAN块中。

此外，在StyleGAN中，噪声输入被串联而不是添加到卷积中。

研究人员经验性地发现，这可以带来更多的细节来还原的人脸图像。

由此可得，GPEN模型明显优于其他的修复人脸的GAN模型，同时，GAN预嵌入式网络(GPEN)具有保存图像细节，易于实现、可视化生成逼真结果的特点。

GPEN不仅能让老照片里模糊的人脸变清晰，还能将黑白人物照转成彩色照片。

RIFE

是旷视和北大提出的一种实时中间流估计算法，用于视频帧插值，能够改善伪影、让视频更丝滑。

DeOldify、Deep Exemplar based Video Colorization，是用于图像上色：

DeOldify

DeOldify是用于着色和恢复旧图像及视频的深度学习项目，基于NoGAN会使图片细节处理效果更好，渲染也更逼真；NoGAN 在 DeOldify 中是用来保证视频着色的稳定性。

Deep Exemplar based Video Colorization

Deep-Exemplar-based-Video-Colorization，来保证着色时间的连贯性与稳定性。

Artbreeder

还有用于脸部生成的Artbreeder：

在Artbreeder上，用户可以通过调整滑块，来创建不同风格的人像、动画。

Topaz Labs

以及用于超分的Topaz Labs，基于于机器学习技术和trimap技术，增加照片的分辨率，补充像素细节。

提供添加蒙版，AI色彩、细节增强，AI降噪，无损失放大等功能。

学计算机的一定得有一个问为什么的习惯，才不容易陷入迷茫期，瓶颈期，能够不断的学习进取~~

关注学姐，学习新知识，养成好习惯！

学姐带你玩AI AI前沿话题、技术交流、机器学习、深度学习、比赛解析、大厂面试、大咖分享、Paper学习、AI工具库……关于AI的，学姐全包~

参考文档：

https://mp.weixin.qq.com/s/p9L1_A9yosqQ0kcPpOm9YQ

https://space.bilibili.com/176003?from=search&;seid=1582334862154880162

https://openbayes.com/console/openbayes/containers/rlJisxxVhhD

人民日报官方微博

https://arxiv.org/pdf/2105.06070.pdf

https://www.topazlabs.com/denoise-ai

https://www.artbreeder.com/

https://github.com/zhangmozhe/Deep-Exemplar-based-Video-Colorization

https://arxiv.org/abs/1906.09909

https://www.oschina.net/p/deoldify?hmsr=aladdin1e1

如有侵权，联系删除