浅谈注视点渲染技术,为什么说这是VR的未来方向。

就在2023年2月22日,PSVR2全球发布,国行定价4499元。这个定价正式宣布了高贵的注视点渲染技术正式跌入万元以内,进入加速消费普及的阶段,相信不久的将来,各类平价的VR设备也将会陆续加入此功能。
什么是注视点渲染,它又能带来什么
我们的人眼虽然有超过120度的视野范围,但是由于感光细胞主要分布于中央凹附近,人眼的视野的清晰区其实只有15度左右。所以理论上对画面中人眼清晰区的部分进行高质量渲染,其余部分用较低图像质量渲染,除了个别天赋异禀的人类,理论上是察觉不到有区别的。这就是注视点渲染的最底层逻辑。针对人眼视野的清晰范围进行有选择的渲染,从而降低GPU负荷。
一切的起源:FFR
注视点渲染技术首次登录消费市场是由Oculus于2018年3月的GDC。当时起名 Fixed Foveated Rendering (FFR)。通过在屏幕中心固定一个高分辨率的区域,并在边缘渲染低分辨率。正如名字中的Fixed所说,他的低分辨率区域是固定的,下图是Meta官方介绍,红色绿色蓝色紫色分别对应渲染1/2,1/4,1/8,1/16原始分辨率。

初代FFR的问题很明显,因为低像素渲染区域是固定的,我们在使用VR设备时候,不可能只看中心区域,实际应用中100%渲染的区域其实还是占了绝大多数。节省的GPU资源有限。并且当眼睛注视点转移到边缘时,会有强烈的画质劣化感。下图是微软模拟飞行同画质下开关FFR帧数对比。

说了那么半天,这个技术不就是个5年前的技术,实际帧数体验提升也就那样,视点一转移也会糊成一片,就这还未来方向?
因为这次的不只是FFR,而是进化升级的ETFR!!
新的时代:眼动注视点渲染ETFR
FFR因为它的高分辨率渲染区域是固定的,所以为了更好的体验,实际应用中往往这部分区域很大,实际并没有节省多少计算资源。为了能实际确实的节省GPU的计算资源ETFR诞生了。
Eye Tracked Foveated Rendering (ETFR)
相比原先的Fixed,这次加入了眼动追踪Eye tracked。高分辨率渲染区域相比以前更小了,并且能根据眼球移动实时变化!这就很厉害了,只要眼动追踪没出问题,理论上就算看向哪里都不会出现以前模糊的情况。同时个人认为,ETFR简直就是为VR所生,平时对着显示器,大家不怎么会去刻意看屏幕边缘,但是VR就不同了,在一个开放的视野环境,难免眼神到处飘,传统的FFR在这种情况下可以说完全不适用。
下面是官方说明中ETFR与FFR渲染区域的对比,能明显看出范围缩小了。

↓官方发布会演示的高分辨渲染区域随注视点变化而变化。发表名称:Performance and Optimization on Meta Quest Platform 直接b站应该能搜到。

最后的结果就是ETFR能节省更多的GPU计算资源的同时获得相比FFR更好的感官图像质量。

问题与挑战
ETFR也不是完美的,像必须要解决的输入输出延迟,低高渲染分辨率的切换等等,其中最致命的问题就是Eye tracked失效。整个眼动检测依赖的是内置的摄像头,要是这些摄像头对焦出现失误,玩家所看到的画面就会立马变成丐版画质,网上其实也有很多反应PSVR2画面糊的问题,其实红外相机对焦失误的可能性非常大。
总结
VR不同于普通显示,需要同时对两个画面进行渲染,想想现在随便跑个3A开个高画质GPU占用就冲到90%以上,要是同时再渲染一个画面......这对目前GPU造成了极大的负担,也成了制约VR发展的关键要因。ETFR作为缓解GPU计算压力的一种有效手段。相信在普及之后能为VR画质带来一次革命性的提高。
一些别的:
这开发者可能有吹嘘的成分,但是上来比3090Ti快10%还是侧面反映出这次对GPU计算性能的节约。

活在这个时代真好,技术迭代更新从来没有像现在这样快过!