马里亚纳x有哪些升级体验?

oppo马里亚纳 x芯片基于新黄金架构dsa专芯专用的理念打造,采用6nm先进工艺,可带来强劲的ai算力和超高能效比。

这是影像专用的npu芯片,与soc共同构成手机核心运算的左右大脑,有效解决传统手机影像难题,带来影像能力的跃升。

马里亚纳x这颗oppo自研的影像专用npu,它能为手机摄影提供哪些提升?为了了解这一点,我们得先从手机拍照的流程说起。

马里亚纳x芯片

从镜头到最终存储的影像,是一个数据不断压缩的过程

其中涉及到三个空间:raw-rgb-yuv,raw是原始数据空间,这里是cmos传感器所提供的全部无损数据,但这时图片本身并不能直接观看,需要在rgb域“上色”,再输出到yuv域进行格式转化,产生出一张jpeg/heif等格式的图片,这时我们才可以正常查看照片。但值得注意的是,转换的过程并非无损,数据每经过一次转换,就会受到一定损失。

传统手机摄影中,由于处理器isp单元的算力不足,在对影像进行处理时只能选择在yuv域对经过两次有损转换的“不完整”信息进行处理,导致最后成片的画质效果品质相对较差。马里亚纳x芯片凭借其强大的算力,将处理过程从传统的yuv域前置到了raw域。因其强大的算力,最高可以支持20bit位宽的raw数据处理,而且是基于更先进的ai算法和20bithdr融合的计算,对每个像素做实时的计算,能最大化地修复本不应该出现的噪点,这就意味着raw域的原始图像信息拥有了更高品质。

马里亚纳x芯片将处理过程提前到raw域

仅仅是静态图片还远不足以发挥出马里亚纳x芯片的全部实力。在当前的手机摄影中,夜景视频所带来的处理压力使得其并不能获得与拍照一样的好画质。

针对这一问题,马里亚纳x芯片集成的自研影像处理单元marilumi针对视频流趋势进行了独特设计,能够流畅地面向4k规格的视频数据量进行计算。

像素级的处理速度也让智能hdr融合算法可以在这颗单元的前端运行,最终令画面动态范围达到了惊人的20bit 120db(20tops),相比find x3 pro提升4倍,达到20bit ultra hdr超级动态范围。

得益于马里亚纳 marisilicon x 强大的算力和能效比,安卓影像第一次有能力同时支持 4k 20bit raw ai ultra hdr的极限规格。最终的结果就是让用户拍摄的视频,每一帧都是好照片。

而在优化视频画质的同时,马里亚纳x芯片强大的视频处理能力还对日常使用中的一些细节带来了实实在在的提升。例如微信这样的第三方软件,为了实现拍照与录像的灵活切换,在拍照时通常会截取视频预览流其中一帧画面,得益于马里亚纳x芯片将计算过程前置到raw域,在微信、抖音等 app 内打开相机直接拍摄,也和获得系统相机一样的高品质画面,而无需担心画质劣化。

相比于相机拍照,手机最方便的就是其完全不需要用户去调节各种参数,只需按下快门即可获得一张不错的照片。而在这背后发挥重要作用的就是awb(自动白平衡)、ae(自动曝光)、af(自动对焦)所组成的3a算法。目前大部分厂商3a算法是从芯片厂商购入,且传感器、芯片和算法的技术发展不同步。一般来说,芯片的开发周期基本需要两年以上,传感器则是一年一代更新迭代,而算法开发和训练所需的时间则更短,这就意味着很难有厂商可以在一个时间节点,能将软硬件结合实现100%的效果。

得益于马里亚纳x芯片的垂直整合能力,oppo在find x5 pro上对3a算法进行自研开发,可以对手机影像中的不同问题进行针对性解决。

例如为了改善白平衡精准度,find x5 pro 采用13通道光谱传感器,配合自研3a算法,能最大化发挥13通道光谱传感器性能,可以还原真实的环境光源信息,改善白平衡效果,任何光线下都能拍出自然色彩。

配合主摄的光学玻璃镜头,可有效降低色偏,实现色彩的精准呈现。