vivo全新自研芯片V2：用AI与双芯 让清晰影像拱手而取

最近半个月vivo可谓是“火力全开”，一口气接连举办了vivo影像战略沟通会、2022 vivo开发者大会与vivo双芯x影像沟通会三场技术峰会。显然vivo正以按捺不住的热情为vivo X系列十周年之作，年度重磅旗舰vivo X90系列的正式降临陆续铺垫——实际上以传播的角度来看，以这3场活动可观的信息密度而言也确实有必要提前分解vivo X90系列发布活动的外围内容以便聚焦于产品之上——前两场活动分别阐释了vivo未来影像战略+下一代影像技术预告、下一代软件系统OriginOS 3的革新变化这类偏方向与功能性的内容，相较之下今天的vivo双芯x影像沟通会应该会更令消费者兴奋，vivo几乎毫无保留地为观众展现了vivo X90系列的核心所在，这便是vivo全新自研芯片 V2与下一代双芯影像，这也让这场沟通会内容的“硬核”达到了一个新的高度。

这其中既有vivo 自研芯片V2的技术架构与三大突破性设计，也有vivo如何实现下一代双芯系统的创新与改善，还揭示基于全新V2芯片vivo X90系列可以带来何种程度的影像升级，这其中的细节更是数不胜数。当然我并不想照本宣科复述一遍发布会内容，但通过解读这些“硬核”向的内容，你确实可以大致描绘出一个vivo X90系列的基本轮廓——一个远远超出用户预期，刷新了vivo历代产品顶峰高度的未来剪影。

自研芯片V2加持 铸造vivo史上最强旗舰

显而易见，作为vivo全新自研芯片V2无疑是这场沟通会的主角，它既是下一代“双芯旗舰”的核“芯”之一，也是下一代“双芯影像”的最基础也最重要的硬件基石。对此vivo自然也是倾尽全力，vivo并未简单地提升制程规模加入更多算法交差了事，反而是对外挂ISP芯片这种目前较为成熟的自研芯片应用形式进行了深度思考。简单来讲，vivo V1/V1+自研芯片通过将影像算法直接硬化在芯片上，很好地解决了以往平台SoC专注于通用计算，专用算力不足能耗不佳的问题，具体到用户体验上就是拍照更快、效果更好、更省电、发热更低，包括在夜景取景等直接影响用户拍照体验的细节上，也能提供优更好的用户感知。但同时vivo也发觉自己摸到了传统外挂ISP芯片的天花板，受限于V系列芯片与平台SoC架构指令集不同（ASIC/ARM），两者可以分别处理大密度AI运算或复杂小模型运算，但无法协同互补，即便强行分工也因为实际上的“两地分居”会导致延迟增加，无法满足视频拍摄对每帧画面处理的时延要求。那有没有一种可能，可以将两者的能力合二为一，实现真正意义上的异构多芯片计算呢？

vivo给出了肯定的回答——全新的“双芯影像”的思路，不应该是大家各自为政埋头苦干，而应该是有机协同的 “1+1＞2”。

为了实现双芯互补，vivo开创性地为V2带来了AI-ISP架构，这其中实现了3项突破，分别是解决了不同架构芯片之间互联协作并将V2融入平台SoC-NPU流水线的FIT双芯互联技术、释放平台算力潜力的近存DLA技术、比DDR外存更快速节能的片上SRAM。简单翻译一下，vivo将以往一般只由一颗芯片负责的大型复杂AI算法拆分为算力要求高吞吐密集的“大问题”与复杂但算力需求低的“小难题”，然后通过SoC-NPU智能分配给V2与自身运算各自擅长的部分，其中V2的计算的结果可以通过能在1/100秒内完成双芯同步的FIT双芯互联技术实时嵌入到SoC-NPU的流水线中，实现了远超一颗芯片的运算效果与接近的时延水平；而为了满足AI运算的庞大算力需求，V2加入了近存DLA（深度学习加速器）与配套的容量提升40%能效提升200%片上SRAM（可以理解为桌面CPU的系统缓存Cache），带来了2-3倍的8bit算力密度、4-6倍的10bit算力密度，这也是下文中vivo之所能能实现长焦、夜拍、抓拍新突破的根本原因所在。

实际上深入干涉平台SoC-NPU的运作方式，正是vivo历经2代双芯旗舰积累磨合后对双芯中另一颗芯片掌控更为得心应手的佐证，所以此次首发天玑9200旗舰平台，vivo颇有底气地表示做到了双芯“联合研发”而不仅仅是“联合调校”了。这也让vivo可以在天玑9200本身过硬素质之外（10% CPU/32% GPU性能提升，20%/41%功耗优化），带来了诸如不公平调度、芯片护眼、AI机场模式等解决用户具体场景痛点多项创新。很明显，无论是V2、天玑9200还是诸多新功能，都将成为下一代旗舰vivo X90系列优秀体验的最佳注脚之一。

与蔡司携手 用AI突破长焦画质极限

作为推出首部开售的潜望式长焦镜头的5G手机的品牌，vivo在移动影像全焦段上的耕耘与积累自不必说，即便是近年多摄退潮，许多产品乃至旗舰纷纷舍弃长焦焦段的日子里，vivo也一直坚持在旗舰产品序列中保留下了完整且不凑数的超广角、广角、人像、长焦的全焦段规格——虽然在 vivo X80 Pro 上，800万像素的5X 潜望式长焦硬件规格并不算高。但从去年的 X70 Pro+ 开始，借助 SuperRAW 这样的 RAW 域多帧”强力算法“支撑，这颗硬件素质其实不高的 800 万像素 5X 长焦在锐度、解析力、噪点控制上基本算上做到了 800万 5X 长焦的“天花板水平”。但话说回来，长焦焦段之所以会逐渐被品牌与用户忽略也是有原因的——拍不清和拍不稳是困扰用户使用长焦最大的2个问题。考量到手机体积所限，即使厂商们都在非常努力的提升长焦传感器和模组的硬件规格，也没有办法做到和主摄一样的“平起平坐”，更别提成像素质本身了——况且，即使对相机产品而言，5X以上的倍率下往往也需要辅助脚架才能实现较高的成片率，更何况传感器尺寸与防抖设计严重受限手机呢？

但手机毕竟是有着强大算力的“计算设备”，长焦硬件的桎梏，继续由计算来补。这一次的V2，将另一个重点放在了手机影像的老大难问题——长焦成像素质的改善上。

在V2自研芯片的加持下，vivo终于有机会解决长久以来困扰手机长焦体验的2个问题，这便是能突破光学极限实现超清长焦的“超清画质引擎”与“Ultra Zoom EIS技术”。先聊聊超清画质引擎，这本质上是“脑补”，通过算法来还原长焦影像在光路中损失的画面细节。先别急着对“脑补”二字嗤之以鼻，因为负责“脑补”的不是别人，正是百年光学巨擘卡尔蔡司。此次vivo携手蔡司联合研发了一种全新计算光学算法——蔡司光学超分算法，为此vivo从底层改写了ISP图像处理链路，将图像处理AI化，将超清画质引擎包含其中。蔡司光学超分算法能根据每个手机的模组特性做建模分析，通过逆运算动态调整，补偿光学信息，结合Denoise降噪、Demosaic细节恢复、Deblur去模糊三大模块，可以提高5x以上焦段35%的解析力表现。

至于Ultra Zoom EIS则是一套综合的长焦防抖技术，包含了可以检测抖动的IMU惯性测量单元（即手机导航经常会用到的惯性传感器），OIS光学防抖与EIS电子防抖，原理很简单，即通过IMU检测手机抖动，根据抖动结果让OIS/EIS进行相应抵消，物理/电子防抖双保险，效果也相当不俗，vivo表示Ultra Zoom EIS可以抵消20x以上倍率的抖动，即便手持也可稳定运镜，而且不仅于此，vivo还预告vivo X90系列长焦将带来硬件升级，搭配超清画质引擎，vivo很有可能成为第一个实用化手机超长焦拍摄的品牌，真正实现天涯咫尺提手就拍的拍摄体验。

夜拍抓拍大升级 开创移动影像“芯”未来

既然可以凭借V2芯片改写ISP图像处理链路，就相当于vivo获得了手机图像处理过程的“root权限”。凭借着这项独门绝技，vivo得以对手机抓拍进行优化，提升了图像传感器的启动速度，将原本170-300ms的快门延迟降低至30ms内，做到了接近相机水平的“零延时”抓拍。在快门延迟优化的基础上，vivo着重改善了运动抓拍与暗光抓拍效果，为vivo X90系列带来了夜拍/运动抓拍大升级。

在早前的 X 系列产品中，借助微云台和防抖能力和抓拍算法的合力，vivo 引入了“抓拍模式”，解决了不少用户平日抓拍孩子、宠物等“活跃目标”的日常拍摄问题，颇受好评。而这一次，vivo带来了新一代运动测量与跳跃检测算法，支持肢体运动强度检测+跟踪四肢小运动，准确率提升10%，此外还有物体检测盒万物追踪算法、高频轨迹侦测对焦算法，在这些算法的加持下，可以通过深度学习让手机“学会”预判画面走向并及时锁定画面，实现了运动画面定格能力提升58%的效果。这对于日常使用中经常需要拍摄多动人类幼崽的父母而言，无疑是一个更为受用的新特性。

而在影响抓拍问题颇大的另一个因素传感器上，vivo 也试图通过“软硬兼施”的方式令其在抓拍场景上得到了体验提升，简单的说就是可以实现尽可能短的曝光时间以减少拖影问题——同样的进光量，如果曝光时间短了，那就需要传感器有着更高 ISO 的成像能力以及在高 ISO 指标下更好的成像素质。为此vivo联合传感器厂商，将传感器可实现的ISO拍摄能力从16000直接提升至102400，大幅提高了暗光场景下的感光能力，同时vivo还不可思议地做到了在如此高的感光度下，画面细节提升17.3%，画面噪点降低46%的效果——而这与vivo叠加多个算法不无关系，V2确实为vivo在影像上的设计提供了广阔的挥洒空间。在要求更严苛的暗光运动场景，vivo还带来了自研的RawEnhance2.0算法，可以采用自适应多帧融合技术，一次快门生成多帧运动画面，把每一帧有用信息叠加在一起，让暗光运动场景的“拖影”成为“过去时”。

经过V1 / V1+的成功实践，vivo对于“双芯”的理解与运用在vivo X70/80系列的基础上实现了质的飞跃，V2自研芯片不再是平台SoC在运行特定算法的全职“辅助”，反而将自身职能延伸至SoC-ISP/NPU中，做到了V2与天玑9200在任务分配、算力提升、能耗优化上的有机协作与统一，实现了1+1＞2的效果。而基于V2深入系统与图像链条底层的计算能力，vivo终于可以按照自己的方式着手改善与优化成像效果，叠加算法也无需束手束脚，带来了超清画质引擎、提升快门延迟、运动测量与跳跃检测算法等诸多创新。而在影像硬件上，也有着全新长焦升级、102400超高ISO图像传感器等一众让人兴奋的消息。

所以，对于很多人翘首以待的 X90 系列而言，它即是一部 vivo 深入前端算法算力、和更多供应链厂商精诚合作、联合研发的“双芯旗舰”，也是一部在超清长焦、运动抓拍、暗光抓拍上实现突破的双芯影像旗舰，更是一部史上最强的vivo X系列旗舰。这也是 vivo 在“双芯”道路上的新阶段——但这远非“双芯”的终点。联想到前几天我在vivo开发者大会参加vivo副总裁周围专访时，周围先生曾向大家透露的vivo系统级定制芯片计划，可以笃定的说，vivo正昂首阔步的迈在自研芯片战略与双芯影像的精进之路上。而在接下来的日子里，我们也能在这条精进之路，看见更多绮丽的“新风景”。