笔记 | 再谈手机高像素(对焦与传感器结构)

【查相机资料,就看相机笔记】
之前我们讲过手机上的“高像素”到底是怎么回事。沿着这个话题,今天我们再来讲讲对焦与传感器结构,其中就包含当下出镜率非常高的2×2 OCL。

为了方便更多读者,我们先来复习下手机高像素的概念。
手机上的高像素
早期的手机高像素是通过多帧合成实现的。类似于相机上的“摇摇乐”,区别在于手机依靠手持拍摄本身的位移进行合成,而相机则通过传感器防抖等组件实现更精细的位移。
自2018年3月华为P20 Pro发布之后,手机上的3200万、4000万、4800万、5000万、6400万、1亿乃至2亿像素,都是传感器确实具有这么多的光电二极管。这些传感器大多采用Quad-Bayer四拜耳结构(也有一些采用9拜耳或16拜耳),日常拍摄时会将相邻像素进行合并输出,有效像素依然维持在1000万-1600万范围内。
只有选择高像素模式或需要数码变焦时,四拜耳传感器(及9拜耳,16拜耳)才会通过硬件级的“像素重排列”功能进行全像素输出。这里并不是说传感器表面像素移动了位置,而是只传感器本身集成了“像素重排列”算法,可以直接输出高像素数据到处理器。
四拜耳4800万像素,日常输出1200万像素
四拜耳5000万像素,日常输出1250万像素
四拜耳6400万像素,日常输出1600万像素
9拜耳1.08亿像素,日常输出1200万像素

▲ 手机上的四拜耳(及9拜耳、16拜耳)传感器整合了像素重排列功能
四拜耳结构并不是新事物:苹果iPhone 6系列(2014年)的前置摄像头就是同色四像素相邻结构。四拜耳也不是移动设备的专享技术:尼康D1(1999年)、松下GH5S(2018年)、索尼FX3 / FX6 / α7SIII(2020-2021年)、奥之心OM-1(2022年)都采用了四拜耳或类似结构传感器 —— 需要说明的是,上述传感器都没有提供高像素输出模式,这也是如今四拜耳(及9拜耳、16拜耳)的一个重要特性。

▲ chipworks(如今TechInsights)拍摄的iPhone 6前置摄像头传感器图片。

▲ 拆解和显微拍摄显示索尼α7SIII等产品使用的IMX510传感器为2×2合并设计。

▲ 奥之心OM-1的传感器具备“交叉式四像素自动对焦”,对应手机上的2×2 OCL结构传感器。
与较低像素的普通拜耳传感器相比,高像素四拜耳传感器除了在宣传时更“唬人”外,还可以实现更大的裁切空间、更好的对焦性能、以及更优秀的高动态(HDR)拍摄能力。
对焦与传感器结构
近年来,我们经常会在介绍手机的文章中看到“2×2 OCL”字样。OCL即片上透镜(On Chip Lens,也翻译为微透镜),它的作用是为光电二极管聚集光线。这不仅关系到通过镜头光线的利用率,也决定了传感器分辨世界的能力 —— 在相机领域,传感器像素数量是与微透镜数量对应的。

▲ 佳能全像素双核CMOS AF技术传感器,每个微透镜下方都有2个光电二极管。但佳能并不会因此将有效像素作翻倍宣传。
结合索尼半导体关于手机对焦技术的描述,我们可以将移动传感器分成以下几种情况:
Dual PD
PD即光电二极管(PhotoDiode,Dual PD亦写作2PD),对焦像素采用2×1 OCL设计。
Dual PD是全像素对焦的最基本形式,主要用于较小尺寸、普通拜耳结构传感器。
2×2 OCL
4个像素共享1个OCL,可以对所有方向的线条进行对焦检测。除了提升对焦检测性能外,2×2 OCL还比Dual PD具有更好的光电转换效率 —— 即能更充分的利用通过镜头的光线。但也因为4个像素共享1个OCL,所以它的实际分辨率与普通拜耳传感器是类似的,这会影响到高像素模式、数码变焦、后期裁切时的成像质量。
2×2 OCL目前多用于中型尺寸(例如1/1.56型传感器)。
Octa PD
除了Dual PD和2×2 OCL外,一些大尺寸传感器还会采用Octa PD设计。它相当于将Dual PD与四拜耳整合在一起,对焦时同色四像素、8个光电二极管同时工作。除了具有良好的对焦性能外,在HDR拍摄时也不会受到被摄体亮度影响,长曝光、中曝光、短曝光都能进行相位检测。
不过,Octa PD只适用于大尺寸传感器,比如索尼IMX700/IMX707、三星GN2(称之为“全像素双核对焦Pro”),以及目前几款旗舰手机使用的索尼IMX989。


有效分辨率的计算
基于R(红)、G(绿)、B(蓝)三原色的拜耳传感器,我们通常认为G决定了明度也就是空间分辨率 —— 在传感器平面上,每个像素只能感知一种颜色光线,需要结合相邻像素计算才能呈现我们看到的万千色彩。对此,你可以理解为用G构建基础,然后再叠加R和B以获得颜色。
对于普通拜耳传感器来说,空间分辨率 = 50%有效像素,即1200万像素传感器,等效600万像素全色彩采样的分辨率。
* 适马三层1:1:1 X3传感器,索尼/宾得相机的像素偏移拍摄模式可以实现单像素全采样。
普通四拜尔传感器可以通过像素重排列算法实现高像素输出。可以用到算法很多,以“三次样条曲线36”为例,转换后的空间分辨率 = 16/36,即相当于同样像素数量普通拜耳传感器有效像素的约88% —— 数字仅供参考,大家知道四拜耳传感器的高像素模式存在少量细节损失就可以了。

▲ 完整计算过程可以参考兰拓租赁文章《从“真假4800万像素”说开去》
而2×2 OCL四拜耳传感器,本质上与1/4像素的普通拜耳传感器分辨率相当。在需要进行高像素输出或裁切输出时,就很依赖于算法优化 —— 受限于传感器尺寸,我们只能在日常拍摄效果、对焦性能、高像素和裁切之间做出一些取舍。
