Google Camera - 超分辨率初解

Google相机-超分辨率技术 前言: Google相机/Google Camera(本文以下简称”GC”)中,在”更多设置-镜头设置-镜头(以下无特殊说明皆以主摄”Main” 为例)-色彩管理-超分辨率照片”中存在从””0~x3.8”(K50)选项,超分辨率选项在原相机中”更多-48MP”选项开启后才可以应用超分辨率. 说明:(1)在小米原相机中超分辨率为”8000x6000px”,(2)GC中启用最高x3.8 分辨率可达”15078x8964px”,原相机分辨率在GC中应该处于”x2.0~x2.5之间” 引言: GC中超分辨率选项开启后,对于同照片相比较下,超分辨率效果>10x放大. 至此,对GC的超分辨率研究开始首先,根据网络现有资料求证, 具体:GC的超分辨率是一种利用多帧图像合成技术来提高放大拍摄时的画面细节和质量的功能,GC使用的基于深度学习的多帧图像合成技术.它的基本思想是，从多幅低分辨率的图像中提取出更多的细节信息，然后将这些信息合成到一幅高分辨率的图像中。比如说，您用手机拍摄一个物体时，由于手部抖动或者物体移动，每一幅图像都会有一些微小的差异。这些差异其实包含了一些额外的细节信息，如果我们能够把这些信息提取出来，并且正确地对齐和融合到一幅图像中，就可以得到一幅比原来更清晰、更细致的图像。这就是GC使用的超分辨率技术. 以下是理想化的多帧超分辨率算法如何工作的示例

与需要插值重建缺失色彩的去马赛克管线（第一行）相比,理想化地,可以通过分别在水平和竖直方向偏移一像素捕捉多张图像以“填补空缺” 这里个人理解为:在典型的消费级相机中,相机传感器元件仅用于测量光的强度,而不是直接测量其颜色.为了捕捉场景中存在的真实颜色,相机使用放置在传感器前面的滤色镜阵列,以便每个像素只测量单一颜色(红色，绿色或蓝色).它们以拜耳模式排列,如上图所示,因为每一像素仅能采取单色光,临近像素是否同样含有同色光即无法确认,而这时需要重建而来. 基于这些信息,相机处理管线必须重建真实色彩和所有像素的所有细节.通过对缺失的色彩信息进行最佳猜测，通常通过从附近像素中的色彩进行插值来进行去马赛克，这意味着RGB数码照片三分之二的像素实际上是重建而来“填补空缺”,而这里所陈述的应该即是”插值”,GC超分辨率的原理是通过多帧来填补Bayert格式传感器中缺少的图像分量, 其余的色彩是通过插值得来为了提高图像分辨率,GC使用了一种多帧超分辨率的方法，即从略微不同的位置捕获多张照片并组合到更高分辨率的网格上,GC所采用的应为”自适应核插值”与”融合算法”来自”Super Res Zoom” 从上我们得到一个关键词”多帧图像超分辨率” -----多帧图像超分辨率原理是利用相邻图像之间的互补信息,从而重建出比任何一幅低分辨率图像都高的高分辨率图像,它需要对齐和融合多个低分辨率图像,然后通过算法推断出高分辨率图像.而”Super Res Zoom”中其自适应于图像的局部结构,对稀疏采样的数据进行拟合.基于稀疏表示的对齐和融合多个低分辨率的方法 ----------基于稀疏表示的对齐和融合多个低分辨率的方法: 基于稀疏表示的对齐和融合多个低分辨率的方法是一种利用图像的稀疏性质,将图像在某个字典上进行稀疏编码,然后根据编码系数进行融合的方法.这种方法可以保留图像的边缘和纹理信息,提高融合效果.这个方法是先对每个源图像进行小波变换，得到低频和高频系数。然后用自适应权重来融合低频系数，用稀疏表示来融合高频系数。最后用逆小波变换得到融合图像。这个方法可以有效地降低噪声和失真，提高图像清晰度和对比度. ----------稀疏表示: 稀疏表示是在保留图像细节特征的基础上，将图像有效地分解为一组非零原子的线性组合,过完备字典和稀疏表示模型是稀疏表示的核心内容. 过完备字典为稀疏表示提供原子库，是稀疏表示方法的基础。一般来说，过完备字典的获取有2种方法。一是针对某种特定类型的图像，用已有的古定的信号模型构造原子，简单且易于实现。二是采用学习方法，例如奇异值分解K-SVD算法和PCA等，对大量的实验样本进行训练构造字典，是一和自学习的字典，冗余度更高。稀疏表示模型选择过完备字典中的小部分原子，采用某种线性组合重构图像. ----------变换域融合的处理对象是源图像变换后的分解系数.其融合过程主要包括3步:首先利用变换算法将源图像分解为高低频率系数;然后对不同的系数采用不同的融合策略,分层次分方向地完成融合;最后通过逆变换实现图像的融合.MST融合方法的融合过程如图所示.其中,Lx和Ly分别为源图像Ix和Iy分解后的低频系数.Hx和Hy为分解后的高频系数.LF和HF分别为融合后的低频系数和高频系数.

随后,小波变换应运而生,它将图像分解为表示轮廓的低频近似系数和表示图像细节的多层3个方向(水平垂直和对角)的高频细节系数,充分反映了源图像的局部变化特征.优点是分解后信息无冗余,具有方向性. 而在以上的基础之上,将这几项技术相结合之下,具体流程如以下所述

流程: 整个算法流程如图所示. 其主要包括:多帧图像的获取---图像配准---图像融合三个步骤.首先,获取多帧图像,然后选择其中一阵作为基帧,剩下的图像都对该帧进行局部对齐.通过核回归估计每一帧对结果的局部贡献,然后分颜色通道将这些贡献叠加起来.为了是算法更有鲁棒性,借助于图像局部特征对核形状进行调整,并利用鲁棒性模型对采样的贡献值进行加权.最后,对每个颜色通道进行归一化得到最后的RGB图像. 至此,在广面上我们已经基本了解了”GC超分辨率”的基本原理 结尾: 对于GC这一超分辨率技术来说, 我本人并不是吹捧GC的该项技术也不是贬低其它品牌的该项技术,这里更多的是以”Google Camera”为例来阐述这项技术,这项技术出现不能说其具有跨时代意义也不能说其无用,更多的是对于这项技术所受众面来讲 资料引用: https://zhuanlan.zhihu.com/p/46938106 文章作者: 雨宝贝 https://zhuanlan.zhihu.com/p/475470158 文章作者: 一点人工一点智能 https://zhuanlan.zhihu.com/p/138815311 文章作者: 吴建明wujianming https(链接)：//pan.baidu.com/s/1DNW5EKfb7xzsFGhf5mbJdg? pwd=visw 提取码：visw | 文章多平台同期发布| 未经授权禁转载| 文章引用请文中说明 | 本文最后编辑于2023年03月04日12时13分 ——By ZKY_DW_Wait me 发布于辽宁，已编辑