HEA网 ®
关闭 HEA网微信二维码

首页| 新闻| | Discover| 智能手表| 数字家庭| 智能盒子| | | | 厨房卫浴| 生活电器| 专题| 微发现| 标签| 论坛|

首页| 新闻| | Discover| | 数字家庭| 智能盒子| | | | 厨房卫浴| 生活电器| 专题| 微发现| 标签| 论坛|

首页 通讯 通讯·新闻 正文

小米、OPPO和vivo集体自研ISP的背后

字号:TT 2021-08-19 09:27 作者:包永刚 来源:雷锋网

HEA网-womensfinancehub.org报道:据悉,小米和OPPO都在上海大力招聘芯片人才,有消息称OPPO芯片团队的人数已经超过千人。他们是要直接要研发一款SoC芯片还是会研发其它单芯片?上述分析师认为电源管理芯片是不错的选择,因为快充也是的一大卖点。

过去十多年,中国的厂商们借高通 和联发科的SoC芯片,推动了智能的普及,同时也跻身全球行业的前列。

然而,随着市场竞争的加剧,以及消费者对使用体验的更高追求,通用的SoC成为了巨头们提升竞争力的瓶颈。

于是,小米、OPPO、vivo相继走上了自研芯片的道路,他们的终极目标是自研SoC芯片,但当下都聚焦ISP(Image Signal Processor,图像信号处理器)的研发。

巨头们为什么都选择从自研ISP芯片入门?消费者需求、厂商的技术积累、ISP的技术特性、市场的未来趋势等都是关键原因,这也是本文将详细解答的问题。

至于巨头们自研芯片能否成功?多位业内资深人士都告诉雷锋网,这在于厂商的决心。

图片来自techthelead图片来自techthelead

“困”在芯片里的巨头,踏上自研之路

2013年12月,中国开启4G时代。三年后的2016年,国产开始全面崛起,这一年,和三星在中国的市场份额开始下降,华为、OPPO和vivo的市场份额高速增长,小米也凭借超高性价比迅速占领市场。

两大市场研究机构Counterpoint和canalys 2021年第二季度的数据显示,小米、OPPO、vivo位列全球五大厂商之列,分别排名第二、第三和第五位,合计市场份额超过35%。

小米创始人董事长兼首席执行官雷军更是在近日放出豪言:“5至10年后,小米会成世界第一的公司。”

跻身全球前五的三大厂商们有一个共同点,每一代功能的重大提升都与高通、联发科当年最新的SoC的特性密切相关。

这也让他们面临一个共同的挑战,在增长乏力的市场,想要实现性能和体验的差异被芯片制约。

自研芯片是一条被证明可行的路径,、华为和三星都通过自研芯片实现了差异化,并成功占领了高端市场。

实际上,要冲击世界第一的小米早在2014年就踏上了芯片自研之路,在2017年发布了首款SoC澎湃S1,但体验不尽人意。

有业内人士表示:“澎拜S1失败一个非常关键的原因是太急于求成。”

研发SoC受挫,小米又在2019年研发了一款ISP芯片澎湃C1,这款芯片与2021年3月发布的小米折叠屏MIX FOLD同时亮相,能够实现更好的3A(自动对焦,自动白平衡,自动曝光)处理,自研ISP+自研算法也顺势成为这款旗舰的一大卖点。

图片来自小米图片来自小米

这边MIX FOLD已经开卖,那边OPPO和vivo也在自研芯片的道路上快步前行。

2019年9月,vivo执行副总裁胡柏山透露其在2018年初就开始考虑深度参与SoC的设计中,并在当年年底发布了与三星联合研发的SoC芯片Exynos 980。

虽然已经深度参与SoC研发,但自研才是vivo的目标。界面新闻7月报道,vivo内部代号“悦影”的首款自研芯片即将推出,可能也是ISP芯片,将会在X70系列上首发。

OPPO公布自研芯片的进展相对较晚,2020年2月OPPO CEO特别助理发布内部文章提出了芯片、软件开发、云服务的三大计划,其中芯片项目名为“马里亚纳计划”。

有消息人士爆料,OPPO自研的首款芯片也是ISP芯片,将在2022年初上市的Find X4系列上首发。

这就意味着,“困”在第三方SoC里的三大巨头,明年将会进入新一轮的芯片比拼。但为什么是ISP芯片?

自研ISP的四大理由

自2017年全球市场增速开始下降,厂商们的竞争就愈加激烈。

2018年行业营销白皮书指出,2018年功能营销的竞争点趋于集中,AI类特性有8个、屏幕类5个、解锁方式和配色各4个,其中,AI功能又以AI拍照和摄影类居多。

此后的三年间,行业对于摄像头的关注只增不减,2020腾讯行业洞察白皮书指出,消费者对摄像头、用途和电池的关注度显著提升,其中摄像头的关注度增长率仅次于操作系统。

“影像系统其实是一个很长的链条,包括前端传感器、镜头、马达,承载图像处理的核心部件——ISP芯片,以及后端标定和调优等过程。”安谋科技高级产品经理柴卫华对雷锋网表示。

图片来自三星图片来自三星

“相同的镜头和传感器经过不同的ISP,也会有不同的效果。”爱芯科技ISP负责人、系统架构师张兴同时表示,“ISP的价值是提升图像质量。但ISP是非标准化的芯片IP,既有客观的性能指标,比如摄像头的数量、分辨率帧率、带宽、功耗、延迟等。也有比较难以完全客观化的图像评价指标,包括亮度指标(动态范围、对比度、曝光准确和速度等)、色彩相关指标(饱和度、色彩准确度、悦目程度等)、清晰度等。从经验中来,关于图像主观和客观的测试,大概有40-60种甚至更多。”

爱芯科技是一家AI视觉芯片创业公司,AI ISP是其自研技术之一。

虽然对于好画质很难有统一的标准,但亮度、色彩和清晰度也有一些客观指标,比如有标准的颜色模型衡量色差。

“在客观指标达到一定程度之后,客户通常也会根据不同的需求去调整主观指标。ISP的一个特点是有很多的可调参数,工程师可以调整设计好的ISP硬件参数以适应不同的环境。一款好的通用ISP,要提供有足够灵活性和具备可扩展性。”柴卫华指出。

影像功能是消费者关注的重点,而ISP是实现差异化的关键,并且出货量巨大,自研芯片如果成功最终可以转化为整机的成本优势,这是巨头们选择自研ISP的初始动力,也是第一个理由。

“华为能够用自研的NPU+ISP实现独具特色的AI拍照功能,相比之下,使用高通和联发科SoC的厂商发挥的空间会受到限制。”耀途资本投资总监于光说,“由于硬件迭代的周期比较长,厂商的需求也不能被快速满足,特别是差异化的需求,自研ISP芯片实现硬件和软件的紧密结合是一个不错的选择。”

张兴进一步解释,ISP一旦设计完成,可供调的参数大致就确定了,但是这些参数是有限的,如果想要提供调试出所有风格的可调参数,芯片面积又会很大到无法承受,这中间需要进行平衡。

想要实现差异化的厂商们,在影像系统领域有了多年的积累,也就有了自研ISP的底气,这也是厂商选择自研ISP的第二个理由。

研发ISP芯片的可行性是厂商坚定迈入自研芯片之路的关键,也是第三个理由。亿智电子创始人兼CEO陈峰说:“由于ISP芯片更加专用,研发ISP在生态上的限制小很多。研发ISP的主要挑战主要有三点:由于图像算法每年都有新的方法,技术在不断迭代;另外,图像的效果需要在满足图像测试客观指标之外,也需要在主观效果可调整性上下功夫;最后是需要适应不同的场景,ISP要能够做到自适应调整好各个环境下的参数。”

芯片公司最宽的护城河就是生态,既然ISP芯片的生态限制相对较小,再加上厂商在算法以及对场景需求的理解上已经有丰富的经验,并且已经各有特色,特别是在场景适应方面,厂商都有丰富的经验。

厂商研发ISP,还有适应未来视频摄影+AI功能竞争的长远价值,这是第四个理由。

“厂商已经在拍照中享受到了AI算法带来的好处,包括超级夜景、AI美颜等功能,从趋势来看未来几年,AI拍照最火的几个功能会从拍照推向视频。这就需要一颗高效的AI ISP芯片,以及将AI算法和传统ISP进行更好的结合。”张兴认为。

柴卫华也认为:“随着短视频的需求发展,也越来越重视视频拍摄的性能。视频流对于ISP除了有画质的要求之外,非常重要的挑战就是实时性。要实时处理4K甚至8K视频的海量数据,呈现完美的影像效果,处理器性能、算法优异、存储带宽和与系统延迟都是挑战。”

AI是提升拍照和视频效果的关键。

陈峰指出,目前AI与ISP结合主要有两种形式,一种是ISP For AI,这种结合方式主要用于检测或识别功能的产品,目标是保证检测或识别的准确率,比如人脸门禁以及辅助驾驶。另一种是AI For ISP,这种结合是用AI替换ISP中的一个或多个图像增强算法,在包括HDR(高动态范围)、夜景降噪、超级分辨率等方面有较好的效果。

“近几年,业界发现在目前AI算力的支持下,AI算法已经超越了传统ISP算法的效果,因此目前主流的趋势是用AI算法替代一个传统算法,或者将AI算法与传统算法结合。”张兴进一步表示,“要充分发挥NPU算力与ISP结合的价值,实现真正意义上的AI ISP,需要在设计的最初就将两个IP结合起来设计。如果是买来的IP,两者结合实现好的功能难度很大,即便实现,也会有大量的功耗和芯片面积的浪费。”

陈峰具体指出:“在视频应用领域,效果稍微好的AI降噪算法,实时处理1080p@30fps视频就需要10Tops以上的算力,目前这种应用方案还比较少。”

总体看来,消费者对更好拍照和摄影功能的追求是原动力,在厂商有多年影像技术积累的前提下,自研ISP芯片成为了厂商可实现的目标,而将AI+ISP的能力从拍照延伸至视频领域能够提升厂商当下和未来的竞争力。自研ISP芯片自然成了厂商们不约而同的选择。

冲击高端成败的关键在“决心”

接下来的关注点是,自研ISP芯片到底能带来哪些不同?已经发布的小米澎湃C1,官方的说法是自研ISP将数字信号处理效率提升100%,可以进行更精细、更先进的3A处理。

业内一位资深人士说:“澎湃C1实际上是一个协处理器,或者说Pre-ISP,在SoC ISP前进行图像处理,相对而言会比较容易处理,能够辅助处理一些特定场景的应用。不过,由于是在SoC外单独增加了一颗芯片,因此无论是成本还是功耗都会有所增加。”

至于实际的使用体验是否有明显的速度和质的提升,还需要更多的用户反馈。

厂商的自研ISP要从卖点真正转化为差异化优势,ISP团队非常重要。“ISP的发展一直在进步,远还没到成熟的阶段。要设计出有竞争力的ISP芯片,取决于队伍自身的成熟性。有公司做了十多年ISP,也没有进入行业的一流水平。当然,这也与一家公司对于ISP的认知以及投入有很大的关系。”张兴表示。

业内资深人士也表示,“厂商自研芯片成败的关键在于投入的决心,特别是SoC。”

但国内整个芯片行业都缺人才,想要组建有丰富经验的ISP团队挑战巨大。柴卫华说:“ISP研究与发展涉及到算法、电路设计、系统整合、器件调较、画质调优等多方面。因此相应的人才要求不仅专,而且广,除了需要掌握数学、物理、计算机、集成电路的知识,还需要有光学、颜色等学科知识。国内在这一领域的积累还比较有限,所以相关人才也比较缺乏。”

“国内在ISP领域有丰富经验的人才本来就比较有限,不过现在华为海思的不稳定,展锐也有一些相关的人才,这都是其它公司获取人才的机会。”业内资深人士表示。

“即便能设计出有竞争力的ISP。要让消费者对厂商的自研芯片有认知也需要时间,我认为这至少需要2-3代的迭代。” 一位芯片行业的分析师对雷锋网表示,“我认为小米和OPPO自研芯片从现金流的角度会更有优势,而vivo挑战会更大一些。”

该分析师同时表示:“自研ISP主要会用于高端,因此对高通的影响可能会大一些。”

有意思的是,联发科在今年七月份发布了天玑5G开放架构的平台,基于其旗舰SoC为厂商提供更接近底层的开放资源,包括相机、显示器、图形、AI处理单元、传感器和无线连接等子系统。这既可以理解为顺应厂商自研芯片追求差异化的趋势,也可以理解为阻挡厂商自研SoC的举措。

无论如何,自研芯片都是厂商站上市场金字塔顶端的必选项,但这条路在时间、技术和资本投入方面都充满挑战,高通和联发科在SoC领域都有几十年的积累,和华为也是经历十多年的努力和迭代才取得了如今的成就,而小米、OPPO、vivo才刚刚开始。

小米ISP芯片架构师左坤隆在《强国基石》的纪录片中透露,ISP只是小米自研芯片的起点,其SoC同样也在研发中。

据悉,小米和OPPO都在上海大力招聘芯片人才,有消息称OPPO芯片团队的人数已经超过千人。他们是要直接要研发一款SoC芯片还是会研发其它单芯片?上述分析师认为电源管理芯片是不错的选择,因为快充也是的一大卖点。

于光指出,在电源管理芯片市场已经有一些不错的创业公司,巨头们在这一领域也已经投资了多家公司。

热闹过后,谁会是下一个拥有自研SoC高端玩家?

(HEA网® womensfinancehub.org)

责任编辑:编辑F组

HEA网微博


热点推荐