传感器堆料热退去,手机影像该看AI芯片了?
作者 | 钛媒体2021-12-21

你知道一部智能手机有多少颗芯片吗?

作为当下每个人最离不开的电子设备,一部智能手机虽然只有巴掌大小,但它内部却至少集成了100颗以上的芯片。其中,大家最熟悉的自然还是SoC了,SoC被称为系统级芯片,其集成了CPU、GPU、ISP、NPU等,因此我们可以说SoC是手机的“核心处理器”。

这么多的芯片中,NPU(神经网络处理器)的名字不像CPU和GPU那么响亮,但它扮演的却是最聪明的角色,专门负责实现AI运算和AI应用,直接影响手机AI能力的强弱。NPU具备的AI能力可以显著改变现有的手机功能,而影像就是一个极富应用前景的领域。

OPPO发布首个自研NPU芯片马里亚纳 MariSilicon X

在12月14日的OPPO 2021年度未来科技大会上,OPPO就发布了首个自研NPU芯片马里亚纳 MariSilicon X,这颗芯片是全球首颗为影像而生的专用NPU芯片,它的出现将极大提升计算摄影的能力和参与程度。其背后展示了OPPO对于“自研芯片”的决心,也透露出其未来发展的新思路。

至此,中国智能手机四大头部厂商也均加入了自研芯片的「芯」赛道。

以自己最擅长的领域,探索更深的「马里亚纳」

智能手机中蕴含的芯片有很多,也表示着手机厂商在自研芯片的选择上有非常多的方向,为何OPPO偏偏选择了影像NPU作为其首个自研的方向呢?其背后的发展逻辑与OPPO坚持的技术赛道密不可分。

OPPO Find X3

OPPO Find X3

很长一段时间里,用户对智能手机最高的需求就是对于影像品质的追求。对于手机品牌而言,要满足用户需求,就必然要在影像技术上实现关键性突破。

OPPO芯片

要想增强影像能力,最直接的方式就是换用尺寸更大的传感器,但机身空间有限的智能手机注定不允许动辄三四个硕大的影像传感器的存在;再加之尺寸更大的传感器需要更长的物理焦距,维持等效27mm左右的主流焦距时会让手机的厚度同步激增,这注定不是一个可持续的发展方向。

OPPO经过过去R系列、Reno系列、Find系列数年在影像技术上的探索,发现想要从传感器、镜头等光学方面继续提升移动影像素质已经遇到了瓶颈。只有通过影像专用NPU,才能解决目前ISP功能局限和通用算力不足、传感器尺寸和镜组光学素质止步不前的难题,这也是未来影像发展的主流方向。

而且,目前来看上游供应商提供的通用芯片以及NPU芯片都无法满足AI对计算影像提出的算力和能效要求。因此,要兼顾高算力和低能耗,OPPO也不得不自研影像专用的NPU。

此次OPPO之所以将项目的名称定为「马里亚纳」也颇为形象,其背后有两个原因。其一,如果想要达到OPPO期待的移动端优质AI影像体验,更加成熟的芯片生产制程(如12nm)已经无法满足,所以其首个自研芯片就直接上马6nm制程工艺,这对于OPPO整个自研芯片团队都是一个极大的挑战。

另一方面,「马里亚纳」的名字也是OPPO对于自研芯片挑战的一个决心,同时也表达了OPPO将以自己最擅长的领域,对手机最底层的芯片发起冲击。

马里亚纳 MariSilicon X有何绝活

被OPPO寄予厚望的马里亚纳 MariSilicon X到底是怎样的一款芯片呢?

首先,我们要了解马里亚纳 MariSilicon X是一款NPU芯片,而不是ISP模块,有着后者所不具备的AI计算能力,能够用神经网络实现影像的降噪和细节提升。它采用了AI时代的DSA新黄金架构理念,旨在针对OPPO的AI影像需求,放弃对次要能力的兼容,而是将全部芯片面积和算力都投入影像领域中,也就是所谓的“专芯专用”,任务更明确,性能自然也就更强。目前全球前沿科技公司都在采用DSA做AI,比如Google的TPU。但是,使用DSA架构也意味着这颗芯片的专用性,对于厂商的芯片方向规划要求极高,需要提前预判在芯片研发到商用的几年内,影像风口究竟在哪里。

4 (4)

其内部架构由“MariNeuro”自研AI计算单元、“MariLumi”自研影像处理单元、配套的影像专用内存子系统和I/O组件等组成。

此外,马里亚纳 MariSilicon X制程方面直接上马目前行业非常先进的6nm制程工艺,由台积电进行代工。选择6nm虽然可以带来更强的性能表现,但随之而来的高投入、高风险、高难度和高不确定性不言而喻。

据行业报道,6nm芯片1次流片费用高达1个亿,正式流片实验前没人知道是否成功,一旦失败就面临推倒重来。好在OPPO在流片阶段一次就成功了,据OPPO芯片产品高级总监姜波回忆:“记得流片拿回来之后没有丝毫耽误,点亮过程中就是24小时,整个研发团队都非常激动,我们完成了一个巨大的挑战!”

对于用户实际使用上的提升,马里亚纳 MariSilicon X将主要用AI技术解决传统手机影像难题——弱光视频画质,将计算摄影推向了4K+20bit RAW+AI+Ultra HDR的新极限。对于不懂摄影的人来说这串复杂的名词可能难以理解,说白了就是要让画面拥有丰富细节(4k分辨率是主流1080p的4倍,画面细节更丰富)、高宽容度(画面中非常亮的部分与极暗的部分都清晰可见)、纯净画面(通过AI计算实现近乎无噪点的夜景视频)和无损计算(影像数据损耗小,保留更多信息和细节,对后期更友好),尽可能保证画面的「原汁原味」。

5 (1)

举个简单的例子,比如我们在一个昏暗的剧场中拍照,如果是没有AI计算摄影,整个画面中可能是全部黑暗,又或者只能看到微弱的色彩。而未来有了马里亚纳 MariSilicon X,OPPO可以借助其“MariLumi”影像处理单元,显著提升HDR(高动态范围成像)能力表现,让剧场中拍摄的画面,都可以还原出人眼看到的状态。

听起来这个改变很简单,但其背后是非常困难的研发过程。要知道现在安卓旗舰平台骁龙8也仅支持18bit HDR,OPPO这第一次自研芯片,就可以将其位宽提高到20Bit。这2Bit之间,画面宽容度整整提升4倍(2的20次方与2的18次方对比),直接从原来的25万:1,提升到100万:1。

6 (1)

此外,马里亚纳 MariSilicon X还可以实现4K 30帧AI夜景。拍照比拼已难分胜负,视频是下一个竞争赛道,而视频的实时处理特性,令其难度远大于照片的先拍后算。OPPO能同时实现4K+AI+HDR规格夜景视频,已经摸到了目前手机影像性能的天花板。

在发布之初,OPPO还公布了一段「马里亚纳 MariSilicon X原型机」、iPhone 13 Pro Max以及OPPO Find X3 Pro三台手机在4K极限暗环境下实拍对比。从中我们可以看到,无论是亮度、色彩以及细节的还原,三者之间差距都非常明显。

之所以能实现如此优异表现,也离不开马里亚纳 MariSilicon X高达18TOPS@int8的计算能力,它的表现比搭载骁龙888的OPPO Find X3快了20倍,单从AI算力上来讲,它已经超越苹果目前最新的A15 SoC处理器,后者AI算力约15.8TOPS。

当然,马里亚纳 MariSilicon X 能力不止这一方面,其还拥有实时RAW计算、RGBW Pro以及双层存储等等很多的特点。简单理解的话,马里亚纳 MariSilicon X未来在智能手机中的应用将独立于SoC存在,而不是替代SoC中AI能力,最终目的是对手机影像的独立提升,实现1+1>2的结果。

双芯或成为自研芯片超车的主流选择

7 (1)

目前的手机行业中,大多采用的都是主流SoC的平台架构,其承载了手机运行过程中的主要处理工作,其实它也是集成了CPU、GPU以及NPU等不同的芯片模块,只是封装到同一颗芯片而已。

对于手机厂商来说,在自研芯片领域如果直接挑战SoC的研发,需要更长的时间成本、人力成本以及投入成本,其背后需要极为丰富的经验和试错过程,包括异构设计能力、解决算法问题以及与生产厂商的制程工艺选择等等一系列问题。

对于现在这个阶段,夯实某一功能的芯片自研技术变得更加现实,并且从中还可以得到更多的经验。通过双芯甚至多芯协同的做法,在某一垂直优化路线上也可以做到功能的跨越式提升,构筑自家的技术壁垒。

OPPO芯片

OPPO已经计划于2022年第一季度中的下一代Find X系列旗舰级智能手机中搭载马里亚纳 MariSilicon X,这个动作也证明了OPPO对其芯片能力的信心。

不过,我们从OPPO直接选择NPU,而没有选择ISP也可以看出,OPPO已经将芯片的异构设计能力纳入自研范围之内。OPPO的终极目标是通过芯片自研开启手机科技创新与影像能力跃升的新时代,此次发布的马里亚纳 MariSilicon X是OPPO检验自身技术能力和实力的产品,也使其像华为、苹果一样,成为拥有自研芯片能力的科技公司。相信这颗影像专用NPU只是现阶段的尝试,后续还将有更多动作尚待揭晓。

热门文章
今日,在2021华为智能汽车解决方案生态论坛期间,华为智能汽车解决方案创新中心正式投入使用。创新中心位于华为苏州研究所内,将主要向车企客户与合作伙伴开放,进行联合开发、测试、验证和成果展示。华为将为合
2021-12-21