腾讯互娱光子技术中心KevinWang：动捕技术逐渐成熟，会在更多地方得到应用
12月7日至12月10日，由腾讯游戏学院举办的2020腾讯游戏开发者大会（Tencent Game Developers Conference，简称 TGDC）于线上举行。在大会第三天，腾讯互动娱乐光子技术中心的KevinWang就动捕在游戏中的开发与应用流程，以一段动捕过程的实际录像为例，发表了“捕风捉影，让虚拟更现实”的演讲。
在演讲中，KevinWang提到，动捕在游戏中能节省人力时间与开销，能以最快的方式呈现实时的概念，用相同的数据拍摄不同的镜头，可以利用多个角色去当替身，并且可以让细节更逼真。KevinWang还讲述了动捕硬体分为电磁类和光学类，通过实例讲解了动捕的准备与拍摄的过程。
KevinWang表示，随着技术的发展，动捕已经非常简便了，但之后发展的空间还会很大，并且随着手游玩家的需求和移动设备性能地提升，动捕或许会成为手游的一大趋势。
以下为演讲实录，由游戏日报编辑整理
动捕在游戏开发中的价值
第一点，节省人力时间与开销。不如用手K的方式去呈现出200分钟的动画，可能需要请七八个动画师，花费半年的时间才能完成。但如果以动捕的方式去做，只需要两到三天左右的时间，就能完成。然后把这些动画转移到3D角色上面，做出一系列后续的细节上面的清理，也许只需要花一个月不到的时间，就可以达到相同，甚至于更逼真的动作效果。
第二点，能以最快的方式呈现实时的概念。
第三点可以用相同的数据拍摄不同的镜头。比如说有两个人在演对手戏，用动捕的方式，可以把他的动作捕捉到电脑里面。之后如果我们想要去拍这些镜头，就可以很快地把捕捉下来的这些动作播放出来，再实时地去搭建我们要拍的镜头，所以说这是一个非常省时的方式。如果是在一个电影的场景里面，用真人去拍摄，要搭建这么多个镜头，演员肯定要重新去演绎这个场景，可能要演绎个很多次，每一次演绎下来都会有少许的差别。
第四点，可以利用多个角色去当替身。比如《死亡搁浅》里的主角，只录了几个动作，之后都是用替身演员完成的。
第五点，动捕可以让细节更逼真。如果以手K的方式去做动画，最困难的其实是怎么样去看这个人的施力点与受力点。比如把力量放在左脚到将力量换到右脚，中间这个取力与卸力的过程，其实是在手K里面，比较难展现出来的地方。
动捕硬体分类
第一类型叫做电磁类，电磁类的运作方式是，它有一个中央磁铁然后与很多不同的接收器相连。这个接收器其实是绑定在他这一套动捕服的上面的，所以基本上你只要把这些接收器调到应该调的位置，就可以去进行很好的拍摄。这样做不仅成本低，还不受场地大小的限制，十分方便使用。
但这也有不好的地方，动捕衣服的尺寸不同，会限制演员的选择，多角色拍摄需要买多套服装，而且道具也无法捕捉到。对于这一点，我们目前有个想法，不需要很干净的数据，用这个动捕下来的数据，与镜头里面的拍摄相结合，就能达到一个比较好的效果。
第二类就是光学类。因为有很多台不同的红外线相机，每台相机里的数据其实只有这个反光球的球点，基本上它是看不到整个人的。为保护演员，反光球是非常软的。另外一点就是动捕光学的硬体，它有好处 也有坏处。
好处方面，因为场地大，所以它可以拍很多个人同时做一些事情，而且能拍摄不同的的角色，包括马、狗等。另外，它还可以拍摄不同大小形的道具，这是电磁类的系统无法做到的。
坏处方面，它整套的硬体非常昂贵，大概3到40万美金左右。还需要租一个专门拍摄的大场地。在后置方面，因为需要把那些被遮挡的反光球重新找出来，所以后置花费时间很多。
动捕迷思
第一点，数据拍摄完可以马上进引擎。因为演员与角色与实际上3D的角色基本都不会是1：1的比例。所以会产生不同的数据，这些数据都需要去做后续的调整、清理才能够进引擎。
第二点，所有输出的动作都会与演员无差。因为演员与3D角色身材、身高上的不同，所以这些数据还是会有些许的差别。
第三点，道具要以真实的道具为主。以枪为例，通常来讲因为重量问题，会用塑料管和海绵胶带来展现枪的外形。但如果要拍一个cinematic的场景，就需要一个真实重量版的枪，让演员能够去演绎出这把枪的重量。
最后一点，如果用了动捕，就不需要动画师去手K。第一是因为不是所有的东西都可以用来做动捕。比如纸、车子、飞机这些东西都比较难去达到动捕的效果，所以还是需要动画师去手K做出这些无法动捕的动作。之后做出脸部、身体的动捕，也需要动画师的帮忙，去完成这一系列的数据。
动捕的准备与拍摄的过程
开拍的两个星期之前，问一下客人想要拍什么样的动作，与需要准备什么样的道具。并在客人来之前准备测试好。再加上非常好的应变能力与想象力，才能够在最短的时间之内达到最完美的要求。
拍摄的时候，需要做的内容，第一点叫做Calibration，光学摄像机的校正。也就是使用反光棒的挥动去计算摄像机的精准位置。并且矫正过的摄像机不能被移动，如果不小心碰撞到摄像机，需要重新校正所有摄像机。
所以KevinWang建议，不要穿反光的衣服或者是鞋子，另外大家尽量不要靠近放这些摄像头角架的位置。
第二点，Calibration之后，需要上反光球，就是Markers。这些反光球会固定于演员各个关节上面的点，比如肩膀 手肘 手腕这些地方。动捕的软体可以很明确地计算出，比如说膀到手肘是upper arm。所以反光球所在的所有位置也是一个非常重要的事情。后续也可以通过调整反光球的位置，来达到你需要的效果。
第三点，关节的活动拍摄。需要演员在开拍之前先把所有的关节先活动一遍，让软体能够知道整个关节的活动度有多大，之后以软体计算出他所有如手腕这些关节点能达到的位置。
之后再用这一系列的数据放到3D角色上面，用真实在场地里面拍摄的影片做一个对比，找出最好的方式，去把3D角色匹配到Video Reference上面。
第四点，大型动捕室的道具需求。不同颜色的胶带代表不同的场景，用苹果箱和软垫来搭建武器、楼梯等道具，电线、铝条、木板等搭建大型道具。
最后，KevinWang通过动捕片场的拍摄过程，演示了上述的每一步。
动捕的后置流程
第一点叫做Tracking就是清理反光球的数据。摄取下来反光球的数据，定位球的点，全部规划好了之后才能够看到一个3D的效果。
第二个叫做Solving，将清理完的反光球数据转移到一个能够缩放的动捕角色上面。再通过缩放，让反光球的点，能够达到实际上演员当初所设定这些反光球的位置。
第三点叫做Retargeting，把能够缩放的动捕角色，再转移到游戏的角色上。因为演员与任务角色人物的身高、 体重都有差别，所以需要做出很多细微的调整。 再接下来是Motion Edit，做出所有抖动，或者是有穿透的清理。这一步需要将多个动作，融合成为一个动作。
最后一步Final motion，请动画师做出手指与道具这些细节的动作，甚至于到脸部动捕的清理。 脸部动捕与虚拟相机的使用
在最早之前脸部动捕的方式是让演员坐在一张椅子上，前面也许有大概三四十台相机，脸上也会放很多反光球的点，但这是一个非常浪费时间的方法。随着技术的变迁，现在有所谓头戴式的头盔能够去做动捕，通过头盔上一个小小的摄像头录取脸上所有的表情，之后与身体的数据去同步达到一个非常好的脸部与身体动捕的效果。 虚拟相机
红外线相机与反光球就等于是动捕最基本的要求，将所有的定位点找出来之后，把它constrain到一个假装的 virtual的view point上面，就可以让我们在场景里面实时地看到这个东西是怎么移动的。如果在Motion Builder里面加入一个Camera，把它constrain在这个东西上面基本上Virtual camera Then the virtual camera就这么形成了。
之后的推进、拉远，把数据播放出来，录这个数据，这些东西都可以在这个Virtual Camera上面完成。
动捕整体在游戏中的流程
第一个就是在做一个游戏之前，一定要有一个非常好的概念，有了这个概念之后才能够请2D的手绘师，把这个场景与这个人物画出来。画出来之后就需要请3D建模师把它做成一个3D的模型。
但因为这个模型没有骨骼，所以没有办法去手K动画，所以要进行骨骼的绑定。绑定之后会请一个Storyboard artis，画出这个Cinematic的场景，再进入到We will give a storyboard to the following departments这个Previz Layout这个镜头创作的部门。
这个部门的员工会很快地以一个手K的方式，把这个3D人物以之前Storyboard的方式去展现出来。然后去做一些剪接，如果整体看起来没有什么大问题，才会进入到动捕。把之前这些手K的数据，转换成真人动捕下来的数据，做数据上面的清理，再回到镜头的部门让他们去做验证，通过更改之前搭设好的镜头，让它能够去跟随动捕的这些3D人物一起去运作。
再通过动画加强的部门，去加强手指的这些动画。没有办法去用动捕做出来的数据，也会要求动画师在这个环节里面完成。
然后就是进入到引擎里完成特效、模拟等步骤，比如说衣服的动法、头发的飘动方式等。接下来就是光效渲染，让这些人物看起来更像是在这个场景里面互动。
最后，KevinWang还回答了两个问题：
第一个问题，动捕发展至今您认为其定位是什么，动捕仍是比较顶级的技术手段还是已经成为了游戏常规研发流程的一部分，动捕未来还有怎么样地一个进化？
KevinWang回答道随着技术的发展，动捕已经非常简便了，但之后发展的空间还会很大，或许之后在家里面就能够完成动捕。
第二个问题，动捕过去比较常见于主机游戏的大型单机游戏，随着手游玩家的需求和移动设备性能地提升，KevinWang觉得动捕会成为手游的一大趋势。
最后KevinWang还为大家分享了一个幕后花絮，《北极特快车》的幕后人员在拍摄最后一天，跟主角汤姆•汉克斯合照的时候忘关闪光灯了，加上反光球的作用，所以在照片上基本看不出来人物的脸部。所以建议大家在区与有脸部反光球的演员合影的时候，一定记得关掉闪光灯。
