译者按：大家好，我是 Laze Sun，前年我曾翻译了一篇诺基亚在 2013 年发布的论文《超采样相机的画面质量》，那篇文章的第六个参考资料，就是这篇于 2007 年发表的论文。虽然这篇文章中的一部分以现在的眼光看已经有些过时（例如 BSI 和 HDR 在当时还是展望未来的玩意儿），但是本文的重点：“如何通过参数判定拍照能力”的思路，在现在依然有讨论价值，所以我顺便也花时间把这篇论文翻译成中文供各位参考（部分文字有演绎）。

另：B 站文章发不了公式，所以部分章节会使用图片代替。

原文作者：

Juha Alakarhu

Nokia, Technology Platforms, Camera Entity, P.O. Box 1000, FI-33721 Tampere juha.alakarhu@nokia.com (+358 50 4860226)

摘要：本文关注拍照手机中的图像传感器和画面质量。提出了一种使用其关键参数估计图像传感器和图像质量和性能的方法。讨论了主观画质以及相机技术参数与主观图像质量之间的对应映射关系。开发出的性能指标可用于优化传感器性能来让拍照手机有能达到的最好的画质。而在文末则讨论了未来的技术和技术趋势。图像传感器的主要发展趋势逐渐从缩小单个像素尺寸转换到在相同的像素尺寸下实现更强的性能。如果像素大小保持不变，则在代与代之间能够观察到大约 30% 的性能提升。同时，图像传感器也是未来为用户提供新功能的关键组成部分。

1. 介绍

拍照手机可以随时随地的拍照、录像和分享内容——这为用户带来了巨大的好处。除了拍照之外，现代的手机还提供一系列广泛的功能，而这些功能需要安装相对大量的组件。这为每个单独组件的尺寸和成本设定了严格的限制。所以尺寸和成本也是手机中相机模组主要的挑战之一。从另一个角度来看，寸土寸金使得例如使用更先进的硅工艺技术成为可能。

现在市面上有各种定位的拍照手机产品（相机的优先级或高或低），以及各种各样可能应用的相机技术。只有经过精心的产品规划和技术管理才能将正确的技术和相机放入正确的产品中。本文考虑了图像传感器的性能指标、主观图像质量和传感器优化。最后讨论了传感器性能趋势和未来的传感器。

即便在充满挑战的手机环境中，图像传感器也是实现高画质的关键组件。在过去的几年里，图像传感器的性能获得了极大的改善。而在将来，也会有很多有前途的新技术像现在一样被完善。

2. 性能指标

3. 主观画质

在诺基亚，主观画质是通过在标准条件下捕捉测试图像并要求一组测试人员对画质进行评级来衡量的。这样，我们就可以计算出每个相机在各个条件下的平均意见得分（MOS）。

在设定未来相机的参数时，它的目标性能应当包含目标平均意见得分。为了让规划和指定目标平均意见得分成为可能，需要一种将技术参数映射到平均意见得分的方法。这种映射非常具有挑战性，因为成像流程包含了很多组件：闪光灯、光学系统、图像传感器、图像处理。主观画质取决于其中每个组件的质量和它们一起工作时的质量。

图 1 表示一个简单的启发式模型，用于评估摄像头的平均意见得分。x 轴为图像传感器的性能指标，例如本文中开发的传感器性能指标，y 轴为估算的平均意见得分（MOS）。曲线将不同分辨率相机系统（包括光学系统、图像传感器和图像处理）的图像传感器性能和它们的平均意见得分（MOS）联系在一起。

该模型时根据不同相机的实测平均意见得分得出的。当图像传感器输出带有很多噪声的图像时，平均意见得分（MOS）主要受到图像传感器性能的限制，即相机系统的分辨率和对比度对结果并没有明显的影响。另一方面，当图像传感器输出干净无噪声的图像时，平均意见得分（MOS）则主要受制于光学系统的性能。由于这个简单的模型假定图像处理平台保持不变，所以实际上需要对不同的图像处理平台做单独调优。不同的色温可能也需要单独调校。

在未来发展的主要挑战和领域如下：

• 制定公平的图像传感器性能指标，上一节中列出的挑战在设立也适用。光学性能的评估也需要类似的方法。这不在本文的讨论范围之内。

• 模型包含了图像处理，将图像处理映射到主观画质的形式化方法极具挑战性，可能无法实现。也许总是需要启发式的进展。

• 将图像传感器分辨率映射到模型  x 轴上的准确方法。如果光学分辨率和像素级的信噪比保持不变，但图像传感器的分辨率发生了变化，则应该如何将其映射到模型上？而图像处理则让最终有效信噪比的计算变得更加复杂。

即便在模型中仍然有未完成的项目很艰难，关键点在于：技术选择和最终产品的图像质量之间必须存在联系。如果没有性能指标，如果没有方法来估计主观画质，或者没有办法将技术参数映射到主观画质，相机的研发就会变成蒙着双眼奔跑。前期的性能预测与最终产品性能的对比，也是反馈和持续改进模型的重要渠道。

4. 画质优化

在讨论画质问题时，通常会首先提到弱光性能。不过，比起在 1 勒克斯下拍摄的照片能否看清东西，更重要的问题是，需要多少曝光量才能捕捉到第一张可用的图像。

事实证明，在主观图像质量测试中，经过白平衡和色彩矩阵后的 SNR=10 是作为第一个可用图像的一个很好的近似标准。即使信噪比（SNR）的计算方法不同，在 ISO 标准中也得出了类似的结论[3]。并不需要更准确的数值，因为“第一张可用”本来就是个很主观的标准，而且这还取决于相机系统其他部分的参数。

优化图像传感器以获得第一张可用的图像是具有挑战性的。在 SNR=10 的情况下，使用典型的拍照手机镜头以及曝光时间时，最主要的噪声源通常是光子散粒噪声。因此，只有通过提高量子效率和减少串扰（减少串扰有助于降低颜色矩阵系数），才能显著改善信噪比。

读出噪声和暗电流通常很低，以至于进一步降低它们并不会显著改善信噪比，例如 [4]。在 SNR=10 的条件下，满阱容量也不会对图像质量产生影响。另外，有意思的是，在大多数情况下，串扰对最大有效信噪比的贡献要比满阱容量或光响应不均匀性要大得多。

图 2 显示了 1.75μm 像素优化的示例。该图展示了在不同的 1.75μm 像素优化下达到 SNR=10 时的照度水平：标准，读出噪声降低 30% 、灵敏度（量子效率 QE）提升 10% 以及 -0.1  较小的对角元（和 +0.05 +0.05 较大的非对角元）。

除了基本的信噪比性能外，最重要的参数还有角响应、线路噪声特性、动态范围和色彩精度。尤其是角响应、暗部和串扰表现需要特别关注。因为在纤薄的手机中，高度较小的相机镜组会导致更大的主光线角度。

5. 技术趋势

由于当代像素尺寸让我们即使在小型相机模块中也可以实现高分辨率，因此新一代传感器有两种选择：1、继续缩小像素尺寸，或者 2、在相同的像素尺寸下优化性能。在相同的光学格式下，大像素和小像素之间的性能差异并不明显。因为较大的分辨率可以减少噪声的干扰或者实现倍率更大的下变换，这将提升信噪比。

基于历史数据，如果像素大小保持不变，则新一代技术能将 SNR=10 为标准的性能提升大约 30%。市场上已经有产品表明了这一点：基于 SNR=10 标准，诺基亚 N95 中的图像传感器比诺基亚 N80 上的好大约 30%。两款产品使用相同的像素大小，但 N95 使用了更新一代的像素技术。

观察同样的性能提升趋势能够维持多久是非常有趣的。由于理想的图像传感器拥有 100% 的量子效率和具有统一颜色矩阵的完美色彩，因此在未来存在很大的进步空间。当使用传统技术时，改善光路对于量子效率和角响应都是非常重要的[5]。当达到传统方法的极限时，有前途的新技术——例如背照式[6]（消费领域的新应用）和有机薄膜材料[7]能让平均进步趋势维持更长的时间。能有效实现零本底噪声的电子倍增或光子技术方法也可能时一种潜在的解决方案[8]。

相机的一个非常重要的趋势是为用户提供新功能——特别是高动态范围[9]和高帧率技术[8]很有前途。针对静态图像的图像稳定也将是个奇妙的功能。如果背照式变得可行，它将让更多的数字处理能力被集成在图像传感器上，从而使小像素拥有很多新的数字功能。

6. 总结

使用提议的图像传感器性能指标对其的性能进行了讨论。量子效率和串扰是目前最重要的图像传感器参数。已观察到以本文提议的信噪比标准来看每年有 30% 的性能提升。我们也能看到在未来有一些很有前景的技术来继续改进它们。图像传感器也是未来提供相机新功能的关键组件。

译者：这是我第三次翻译英文文献，但是是第二次出于爱好翻译一篇非自身专业的文献，可能在一些专业概念和专有名词的使用上还会有一些偏差和错误，欢迎各位大佬指正。

参考资料

1. ^X. Zhang and D. Brainard, “Bayesian Color Correction Method for Non-Colorimetric Digital Image Sensors,” in Proc. 12th Color Imaging Conference: Color Science and Engineering Systems, Technologies, Applications, Nov. 2004, pp. 308-314.

2. ^R. L. Baer, “A model for dark current characterization and simulation,” in Proc. SPIE, Vol. 6068, Sensors, Cameras, and Systems for Scientific / Industrial Applications VII, Feb. 2006, pp. 37-48.

3. ^ISO 12232, Photography – Electronic still-picture cameras – Determination of ISO speed.

4. ^H. Takahashi, T. Noda, T. Matsuda, T. Watanabe, M. Shinohara, T. Endo, S. Takimoto, R. Mishima, S. Nishimura, K. Sakurai, H. Yuzurihara, S. Inoue, “A 1/2.7 inch Low-Noise CMOS Image Sensor for Full HD Camcorders”, in Digest of Technical papers, 50thIEEE Int. Solid-State Circuits Conference, Feb. 2007, pp. 510-511.

5. ^H. Takahashi, T. Noda, T. Matsuda, T. Watanabe, M. Shinohara, T. Endo, S. Takimoto, R. Mishima, S. Nishimura, K. Sakurai, H. Yuzurihara, S. Inoue, “A 1/2.7 inch Low-Noise CMOS Image Sensor for Full HD Camcorders”, in Digest of Technical papers, 50thIEEE Int. Solid-State Circuits Conference, Feb. 2007, pp. 510-511.

6. ^B. Pain, T. Cunningham, S. Nikzad, M. Hoenk, T. Jones, B. Hancock, C. Wrigley, “A Back-illuminated Megapixel CMOS Image Sensor,” in Proc. IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors, June 2005, pp. 35-38.

7. ^S. Takada, M. Ihama, M. Inuiya, ”CMOS Image Sensor with Organic Photoconductive Layer Having Narrow Absorption Band and Proposal of Stack Type Solid-State Image Sensors,” in Proc. SPIE, Vol. 6068, Sensors, Cameras, and Systems for Scientific / Industrial Applications VII, Feb. 2006, pp. 86-93.

8. ^M. Rabbins and B. Hadwen, “The Noise Performance of Electron Multiplying Charge-Coupled Devices,” IEEE Trans. On Electron Devices, vol. 50, no. 5, May 2003.

9. ^R. L. Baer, “A model for dark current characterization and simulation,” in Proc. SPIE, Vol. 6068, Sensors, Cameras, and Systems for Scientific / Industrial Applications VII, Feb. 2006, pp. 37-48.