欢迎光临散文网 会员登陆 & 注册

浅谈注视点渲染技术,为什么说这是VR的未来方向。

2023-02-24 11:34 作者:kk1243  | 我要投稿


就在2023年2月22日,PSVR2全球发布,国行定价4499元。这个定价正式宣布了高贵的注视点渲染技术正式跌入万元以内,进入加速消费普及的阶段,相信不久的将来,各类平价的VR设备也将会陆续加入此功能。

什么是注视点渲染,它又能带来什么

我们的人眼虽然有超过120度的视野范围,但是由于感光细胞主要分布于中央凹附近,人眼的视野的清晰区其实只有15度左右。所以理论上对画面中人眼清晰区的部分进行高质量渲染,其余部分用较低图像质量渲染,除了个别天赋异禀的人类,理论上是察觉不到有区别的。这就是注视点渲染的最底层逻辑。针对人眼视野的清晰范围进行有选择的渲染,从而降低GPU负荷。

一切的起源:FFR

注视点渲染技术首次登录消费市场是由Oculus于2018年3月的GDC。当时起名 Fixed Foveated Rendering (FFR)。通过在屏幕中心固定一个高分辨率的区域,并在边缘渲染低分辨率。正如名字中的Fixed所说,他的低分辨率区域是固定的,下图是Meta官方介绍,红色绿色蓝色紫色分别对应渲染1/2,1/4,1/8,1/16原始分辨率。

https://developer.oculus.com/documentation/native/android/mobile-ffr/?intern_source=devblog&intern_content=save-gpu-with-eye-tracked-foveated-rendering

初代FFR的问题很明显,因为低像素渲染区域是固定的,我们在使用VR设备时候,不可能只看中心区域,实际应用中100%渲染的区域其实还是占了绝大多数。节省的GPU资源有限。并且当眼睛注视点转移到边缘时,会有强烈的画质劣化感。下图是微软模拟飞行同画质下开关FFR帧数对比。

https://mbucchia.github.io/OpenXR-Toolkit/fr.html#:~:text=Foveated%20Rendering%20%28or%20FR%29%20is%20rendering%20technique%20that,the%20further%20we%20get%20from%20the%20center%20region.

说了那么半天,这个技术不就是个5年前的技术,实际帧数体验提升也就那样,视点一转移也会糊成一片,就这还未来方向?

因为这次的不只是FFR,而是进化升级的ETFR!!

新的时代:眼动注视点渲染ETFR

FFR因为它的高分辨率渲染区域是固定的,所以为了更好的体验,实际应用中往往这部分区域很大,实际并没有节省多少计算资源。为了能实际确实的节省GPU的计算资源ETFR诞生了。

Eye Tracked Foveated Rendering (ETFR)

相比原先的Fixed,这次加入了眼动追踪Eye tracked。高分辨率渲染区域相比以前更小了,并且能根据眼球移动实时变化!这就很厉害了,只要眼动追踪没出问题,理论上就算看向哪里都不会出现以前模糊的情况。同时个人认为,ETFR简直就是为VR所生,平时对着显示器,大家不怎么会去刻意看屏幕边缘,但是VR就不同了,在一个开放的视野环境,难免眼神到处飘,传统的FFR在这种情况下可以说完全不适用。

下面是官方说明中ETFR与FFR渲染区域的对比,能明显看出范围缩小了。

https://developer.oculus.com/blog/save-gpu-with-eye-tracked-foveated-rendering/

↓官方发布会演示的高分辨渲染区域随注视点变化而变化。发表名称:Performance and Optimization on Meta Quest Platform 直接b站应该能搜到。

最后的结果就是ETFR能节省更多的GPU计算资源的同时获得相比FFR更好的感官图像质量

官方数据最多能节省50%GPU计算资源

问题与挑战

ETFR也不是完美的,像必须要解决的输入输出延迟,低高渲染分辨率的切换等等,其中最致命的问题就是Eye tracked失效。整个眼动检测依赖的是内置的摄像头,要是这些摄像头对焦出现失误,玩家所看到的画面就会立马变成丐版画质,网上其实也有很多反应PSVR2画面糊的问题,其实红外相机对焦失误的可能性非常大。


总结

VR不同于普通显示,需要同时对两个画面进行渲染,想想现在随便跑个3A开个高画质GPU占用就冲到90%以上,要是同时再渲染一个画面......这对目前GPU造成了极大的负担,也成了制约VR发展的关键要因。ETFR作为缓解GPU计算压力的一种有效手段。相信在普及之后能为VR画质带来一次革命性的提高。


一些别的:

这开发者可能有吹嘘的成分,但是上来比3090Ti快10%还是侧面反映出这次对GPU计算性能的节约。

活在这个时代真好,技术迭代更新从来没有像现在这样快过!

浅谈注视点渲染技术,为什么说这是VR的未来方向。的评论 (共 条)

分享到微博请遵守国家法律