2023 年手机影像还能怎么卷?硬件?算法?到底什么才是未来?
看到这个问题,我想起来之前被问到这么一个问题:
怎样才能得到一张好看的照片?
作为一个学物理出身的人,无数的名词在脑海中浮现,CMOS,拜耳阵列,YUV域,纵向色差,ISP,3A,堆栈,双增益,Lut与视椎细胞,要把这些概念/技术原理说清楚,其实是一件很麻烦的事情。
正如同这个问题一样,硬件和算法,到底什么才是未来?你很难用一句话去回答这个问题。
那我们倒不如从头开始,因为答案往往不在结尾,过程本身就是答案。
一张照片是如何诞生的?
这个过程说起来其实非常简单,光线透过镜头经过传感器,传感器将光信号转换成电信号变为电子化的数据,再经过ISP和后续算法的处理,在手机的屏幕上就得到了一张照片。

魔鬼藏匿在细节里.
不妨先从硬件部分讲起。
长期被无视的镜头
如果让我挑一个目前手机影像的短板,那一定是镜头,各家发布会对于摄影的介绍,镜片这块总是一笔带过(最多只能说说有几枚镜片),有的甚至压根不提。
如果给目前手机摄影的传感器,算法以及镜头打分:
现在的传感器能打80分,算法能打90分,镜头呢?真的给40分都算多的了,完全不及格。
而目前手机镜头模组在镜头上的投入占比,实在是太小了。
如果玩相机的话,玩到最后,差不多机身和镜头的投入是三七开,而且七成还是镜头的。
大家都知道镜头成像本质是通过镜片对光线折射实现的,由于光线是复合光,不同波长的光线折射率也不同,这样就出现了我们所说的『色散』问题。

尤其是现在大家都开始卷长焦影像的时候,镜头的重要性就更加凸显了出来。
这个问题在摄影界已经给出了解法,如果你用过蔡司的一些『中高档』镜头,就会发现镜头标识上,有这么三个字母-APO。

了解影像器材的话,你就会知道,这三个字母代表是复消色差技术(Apochromatic)。
在说复消色差之前,不妨先了解一下消色差技术,我们都知道色差其实是由于镜片对于不同波长的光折射率不同,那是不是可以用两个镜片来校正色差呢?答案是可以的,大家可以这么近似的理解,A镜片散掉的光,可以由B镜片给你聚回来。
但是如你所见,消色差通常上只能两种色光聚焦在相同平面上,如何更进一步?
既然,色差是由折射率引起的,那么是否可以使用这么一种,折射率对于波长的变化不是很敏感的材料呢,比如萤石就是其中的一种。当然所谓的复消色差并不只是光学材料的升级,它还要考虑曲率半径、透镜厚度及相互间隙的问题。

当然更好的材料,更复杂的结构,更麻烦的装配过程,就导致了复消色差几乎是高档器材的代名词,简单来说,就是贵。
这方面上,走的最快的是vivo,带来了全新的蔡司 APO 浮动长焦镜头。其实复消色差并不只是能够还原色彩,还能够有限的提升画面锐度,增加对比度。

这位演讲者是Sebastian Doentgen,蔡司消费光学品类管理,销售及营销负责人。
你是否还注意到了两个字?
浮动。
即使是定焦镜头,由于对焦单元的存在,所以我们上边说的镜片间隙会在对焦的过程中发生变化,那我们所做的复消色差就会受到一定的影响,如何解决呢 ?蔡司给出的解法是,浮动镜片。
在调焦的过程中 ,改变各个镜片或镜组的轴向距离来矫正光线偏差和影像变形。无疑这对工艺技术以及研发能力提出了更高的要求。
另外,还有我们熟知的蔡司T*镀膜,早在X70上就出现在了vivo手机上。作为反例,镜头炫光鬼影的问题依旧还在很多旗舰手机上出现。

如果你深度体验过vivo手机的影像功能,能够很明显感知到有着蔡司的深度参与,并不只是口头上的联合研发或者联名滤镜那么简单。

补充一个小细节,蔡司官网,摄影板块下,首个宣传位是X90。

不仅只是蔡司大中华区,国际站亦是。
CMOS:我们忽略了什么?
这块大家已经很熟悉了,CMOS我们关注像素面积,关注读取速度,不可否认的是,一英寸就是目前的手机天花板。
但是我们却忽略了一件事情,色彩。
CMOS的色彩成像原理其实靠的就是拜耳滤镜,也因此产生了各种各样的排列方式,RGGB,RYYB , RGBW层出不穷。

但是本质上,拜耳滤镜的颜色是猜出来的,怎么样都会不准。那么如何尽量获得一个准的色彩呢?
所谓准,其实是以人眼为基准的。

这也就体现了vivo VCS光谱技术的必要性,相比于传统的传感器后置处理光信号不只是简单更改拜耳滤镜的排列方式,VCS把处理光信号这个过程前置了,尽量还原人眼细胞对于光线的『处理逻辑』,收益也十分明显,能够得到更好的色彩还原度以及噪点控制。
说烂了的计算摄影
各类高大上的算法名词,我们听得耳朵都起了茧子。
到底在计算什么?又是如何计算的?
我们不妨把手机成像过程再细化一些,来看一个传统的算法流程。

简单来说,拍摄到一个画面,用什么样的曝光参数,使用多少K的白平衡,哪些部分需要提亮,哪些部分需要降暗,都是ISP处理的。可以说,ISP是一个手机成像的灵魂,这也就是即使是相同的图像传感器(Image Sensor),各家的成像质量也会出现差异的原因。
但是我们知道,ISP一般会集成在SoC中,同样的SoC内ISP处理的逻辑其实大同小异,难道不同厂家的不同色彩风格只是套了一个滤镜么。
为了得到更好的成像效果,还有什么别的解法?
vivo给出的解法是,再加一块芯片,辅助运算。
其实 vivo的V系列芯片已经进化到了第三代,V3,回顾整个历程 ,我们就会发现vivo的思路是十分清晰的。
V1扮演的角色更多地是『验证』,外挂一颗芯片是否有必要,是否有收益;
后来的故事大家也知道了,X70,尤其是在暗光夜景下的表现令人惊艳地表现,到了V1+,更是把X80的影像能力提升到很多人认可的『旗舰级别』。
到了V2上,这颗芯片其实优化了更多的ISP功能,借助更多的辅助信息,就可以更好地进行一些计算 ,比如上图中我们提到的3A过程『自动对焦(AF),自动曝光(AE)和自动白平衡(AWB)』。
计算有三个关键元素,数据,算力,以及算法。
在V1上 ,更多的还是采用的传统算法,到了V2上 ,我们看到了更多AI的加持,最重要的是对于语义的理解,什么是主体,主体是什么,应该应用什么样的算法,其实都是在这个过程中进行。

对于算法来讲,结果的呈现需要表达出一定的倾向,即色彩风格。如果你经常看一些摄影作品的话,其实是能够很快地分辨出来,哪些照片是vivo拍摄的。

当然,这一切都离不开算力。
到了V3,芯片制程升级到了6nm,这无疑会大幅度地提升算力(作为对比,V2是12nm制程),大力出奇迹,算力的提升无疑可以提供更为广泛的应用,实现之前无法完成的功能,比如视频端的人像模式,以及4K分辨率下的电影模式。

当然我们不要忘了,V系列芯片除了影像处理单元,还有AI计算单元以及片上内存单元。
新技术的可能
算力的提升,带来的是更多的可能性。
正如同大家所知,GPT的原理上并没有多么大的创新,只因为参数过大,从而发生了量变到质变的过程。各类大模型也雨后春笋一样层出不穷。
手机算力的提升,无疑也拓宽了这方面的应用,不妨做个大胆假设,你的自拍很快不会只局限在美颜和滤镜里。
最简单的应用,换背景,换面部光照,换服装,只需要几张日常照片,就可以帮你生成一张签证所需的证件照,是没有必要去什么天真蓝的。
又或者是虚拟元素与现实的结合,这些其实我们不久之后就能见到,这无疑为创作提供了更为广泛的空间。
好的影像,其实是在驱策你
在艺术史上,很长一段时间内,摄影都在绘画面前有一种『自卑』情结。
早期摄影师总是努力追求图像的准确再现,往往忽略了艺术创作的主观情感。它太过于『准确』,马蒂斯也认为,准确不等于真实。
这十几年来手机影像的发展,回头来看,其实是一个很有趣的过程。
在计算摄影的早期发展阶段,我们经常看到一些用力过猛的状况:人像照片的处理上,脸越白越好,皮肤越光滑越好,风景越锐越好,夜晚的照片恨不得和白昼一样明亮。
但是显然这是一种不自然的审美状态。过度追求技术效果而忽视真实感,已经不是当下用户的审美取向。
但是现在,当技术进化到一定程度之后,我们也逐渐地明确,此时此刻,我们需要的不仅仅是准确,也不仅仅是真实,而是一种带有情感的真实,一种能触动心灵的真实。
这也与vivo的vivo影像体验slogan不谋而合:
还原眼之所见,超越眼之所见。

梁文道在介绍约翰伯格的《观看之道》时候,说过这么一句话:
所有影像其实都与权力或某种欲望有关。
我们看到朋友的笑容,远方的山川,或者是陌生的偶遇,很不自觉产生了一种『按下快门』的冲动,心之所想需要具象影像来呈现。
当下此刻,一个好的影像系统,会更多的『引诱』你去拍摄。
这个引诱有可能来自于一次朋友的赞赏,有可能来自于一次瞬间的记录,有可能只是一个陌生的涟漪。

国内智能手机市场经过十多年的高速发展,已经告别了过去那种粗狂生长,狂飙发展的阶段,进入后半场的存量市场的竞争后,逐渐形成『VO荣米』的格局,拿我们关心的影像举例,大家在技术/资源上的积累都很丰富,而且主力产品上都有着很不错的表现,差异化更多的是来自于思路的不同。
在vivo的影像盛典中,有这样一个细节令我触动,他们会自问:
给用户提供的这些影像技术,能够让他们觉得“这样拍,有意思/意义吗?
思考的路径导致了结果的不同,因为他们也是用户,也是影像创作者,人类的情感也是相通的。从这个角度去思考,就不会出现『我觉着你需要』的功能出现,更多的是『我觉着我们都需要』的技术产生。
之前我们很难拍好一张照片,还有一个重要因素,就是受制于器材以及操作,像素不够画质不好,不清楚什么曝光,后期也不知道什么是中性灰,在手机上,vivo把整个光学,操作,算法,这些专业过程都隐藏在了快门按钮之后,你需要做的只是按下快门。
现在我可以回答你这个问题,让普通人拥有专业的影像能力,让普通人更加愿意去拍摄,才是手机影像的未来。
去拍,再加一张。