nVIDIA黑科技：给个简单视频，直接生成高清电影片段

文／晴天 

编辑/野草

计算机能自己做电影了！？看看英伟达（nVIDIA）和MIT共同完成的这个最新实验项目，你就会觉得这一天好像离我们不远了。

前段时间，一系列动图在网络上被众多人传阅。它们便来自nVIDIA与MIT最新的尝试，所使用的工具是

GANs

Generative Adversarial Networks

GANs解决的问题是：输入一段只有大色块的视频段落，工具可以自动帮助用户生成一个照相写实级别的拟真视频。而且这视频还具有2048x1024像素的极高分辨率。

例如，我们为计算机提供一段城市街景的动态草图，计算机就能够生成出电影场景般的画面：

可以说，即使我的视频已经丢失掉了大量的信息，只剩下些笼统的、色调分离的轮廓，计算机还是可以通过算法，模拟还原出一个视频的完整原貌。

要不要这么炫。

该项目的完整展示视频如下——

（视频详见微信公众号【动画学术趴】）

 

该项目的全称是Video-to-Video Synthesis。按照科研团队的说法，从照片到照片的研究在文献里很多见；但从视频到视频的，目前还是太少了。

在这里，我们并不需要对场景中的物体形状、材质、灯光等各种视频要素进行人工的设置，一切的模拟合成都是电脑自己完成的。

计算机「思考」的过程大致长上图那个样子。不是所有人都能看出很多门道，但很明显，看到Past Images你就知道，这是个机器学习的过程。

随着机器训练集的加大，可以合成出的视频效果也必定越来越丰富，能够合成出的视频时长也越来越长。在现阶段中，研究人员已经能够合成出长达30 秒的2K分辨率的视频了。

训练集增加，也意味着符合草图特征的合成效果越来越多，计算机可不像人那么聪明，例如草图中一个方块，既可以被合成为一辆车，也可以被合成为一个报亭，所以研究人员进一步对系统增加了内容定义功能，也就是让使用者能够人为指定新视频中的局部景观。

到了这个阶段，研究人员进一步发挥创造力，通过采集人脸运动的数据集，生成人脸的运动模型，可以轻易地实现用人脸轮廓草图生成真人人脸视频。

我们可以用同一段视频，但改变人脸的肤色、肤质、发型、年龄状态等等，生成不同版本的照片写实级别的视频。小菜一碟。

既然脸都可以生成了，身体的运动数据一样可以用来合成新视频——

当然，这项技术是该团队在探索视频合成的通用解决方案中的一项阶段性成果。从合成效果来看，汽车行驶视频中还是存在很多瑕疵：画面锯齿，抖动的景观，扭曲的空间……

这项技术暂时还处于原始阶段，因为文献太少嘛，还正在起步。但是相信用不了多久，它的技术不断迭代之后，一旦能够满足视效行业的需求，将对行业产生巨大的影响。

这种一键生成的效果，将为电影工业大大降低制作成本，并能在多个生产环节压缩生成时间。

这样的技术，今后能否改变小工作室与大厂之间的力量对比？让我们拭目以待吧。

不过话说回来，科技的发展总有一天会把重复性的劳动由机器代工。另外别忘了毕竟我们连围棋都已经下不过机器人了。拍电影的、做动画的，之后会有工作上的危机吗？

今天和大家聊到这个项目的所有代码、模型，包括如何配置环境等一系列问题都可以在下方的地址中找到，感兴趣的小伙伴可以尝尝鲜哦~

项目展示

tcwang0509.github.io/vid2vid

项目资料

github.com/NVIDIA/vid2vid

今日话题

以后的电影工业，会不会只需要雇个超级计算机就可以了？

文/晴天 编辑/野草

关注微信公众号『动画学术趴』超豪华福利等着你~

复制链接直达动画学术趴官网，发现每日动画资讯： www.donghuaxsp.com