华为形象系统的支点——传统形象——XD融合的彻底颠覆
原标题:彻底颠覆传统形象——XD融合,华为形象系统的支点
这是华为年度视频旗舰产品P40发布后的第二篇技术解读文章。与前一篇关注硬件的文章不同,这篇文章更偏向于软件和算法机制。
如前所述,在“传感器:镜头:算法”的“1:13:1”手机图像系统中,随着硬件能力的逐渐收敛和对齐,该算法成为区分手机品牌图像能力的新战场,加速了这一比例向“1:1:2”甚至更高权重的转化。
对于华为领导手机成像行业的承诺来说,算法在现在和未来都特别重要,这也是今年“XD融合图像引擎”诞生的原因。
Tips:何为“XD Fusion图像引擎”?
XD融合是华为成像团队的代号。XD中的x表示极限,D表示定义,融合表示融合,合在一起表示“超清晰图像引擎”。这是华为谈论多年的一个概念。把它放入这个行业实际上被称为“计算摄影”。目前,该行业有三家制造商明确提出了计算摄影的概念:谷歌、苹果和华为。
华为形象系统的概念
在解释XD融合的重要性之前,我认为有必要回顾一下华为整个成像技术系统的发展路径和理念,因为只有澄清这个问题,我们才能知道为什么今年P40系列会有IMX700,P40专业会有10倍的光学远摄模块。
在华为的图像系统中,手机图像的发展分为两个维度:空间和时间。这个空间指的是变焦,这使得手机可以看得更远。另一方面,时间指的是让手机在一天中的任何时候都能拍摄出质量稳定的照片,因为在华为的成像团队看来,随着硬件和基本算法的发展,许多手机可以在良好的光线条件下拍摄出质量优异的照片,但一旦光线不好或变得复杂,不同手机的性能就会加大差距33,354。我想华为以前肯定看过iPhone对“白天龙,夜虫”的评价。
按这个理念,从P9算起,我们就能看到这样的发展轨迹:
P9增加了黑白感应器,大大增强了手机的暗光拍摄能力,我对此深信不疑。
P10,双混合放大,让手机开始看得更远;
P20增加了三重光学模块,辅以IMX600定制的大底组件,夜间拍摄能力成为华为P系列手机的标志。
增加P30和5x光学模块,RYYB阵列定制光敏元件将p系列手机的成像照度扩展到0.1Lux;
增加了P40和10x光学模块,RYYB阵列定制光敏元件变大,该技术扩展到其他图像模块。
回顾时间线,华为整个P系列的发展道路非常清晰,甚至可以在一定程度上回答许多人的问题:“为什么华为必须坚持RYYB,一项最初看起来有点吃力不讨好的技术?”
随着技术的发展到现在,随着感光元件和镜头技术的进步,这些源于拍摄空间和时间的问题正在逐步得到解决。然而,摆在华为成像团队面前需要解决的问题也在发生变化,或者需要进一步做的是做得更好、更强,并在参数达到目标后保持行业领先地位。
例如,在华为的成像系统中,长焦被完全分为四个维度:第一,清晰度,在所有客观指标中排名第一。从我目前使用的P40专业版来看,与P30专业版相比,改进是明显的;第二,颜色,我以前也读过,加上8通道的RGB色温传感器和算法的改进,这个问题比前一个要好得多。第三,稳定性,对于像我这样长时间玩相机的人来说,我觉得在大变焦下拿相机更容易,但我认为对于大多数普通消费者来说,长焦距的稳定性问题不仅是一个技术问题,也是一个认知问题。第四,倍数,这里主要指的是P40专业版的10倍模块,这将在后面讨论。
硬件负责输入,软件负责输出。
然而,对于一个完整的手机成像系统来说,它只解决了一半的问题,也就是说,所有这些都是信息输入,仅仅用这些信息是不可能输出令人满意的照片的。面对如此大量的输入信息,是一个软件系统,也就是一个算法。
事实上,刚才提到的视频模块硬件捕获的信息是整个华为XD融合图像引擎的第一大模块:硬件输入。如果说生成一张照片被视为制作一道菜,华为的成像团队称这部分制作食品的材料,不仅需要足够的数量和种类,还存在质量问题——:“西红柿炒鸡蛋好吃,但西红柿烂,鸡蛋臭,厨师即使强壮也没用。”
这相当于再次回答了为什么P40的主摄像头在大底高像素的类型选择中确定了5000万像素和1/1.28英寸的尺寸:根据华为成像团队的判断,这是一个可以同时考虑像素数量和质量的选择。同时,他们也希望当人们看到P40时,他们不会简单地误解华为只在硬件上工作,做硬件的目的不是堆硬件,而是给软件侧的运算提供好的原素材。
XD融合的第三个模块:神经网络处理。这一部分非常有趣,因为一切都是模仿人脑的思维模式来完成对照片信息的处理,所以在这个模块中,有学习、随机和猜测.就连华为成像团队本身也表示,这个过程非常神秘,但其最终目标是为消费者提供一张精彩的照片。
换句话说:图像质量不清晰,噪声越来越少,颜色不准确,模糊效果好,光影自然等.我们经常看到在这个阶段进行“像素级处理”,并且在这个阶段之后产生最终的成像。因此,一道色香味俱佳的好菜就端上来了。
上述三个模块,它们协同工作的步骤和逻辑,形成了我们所看到的XD融合方案,即XD融合超清晰图像引擎。当然,这只是一个大部门。说到8色通道色温传感器的人工智能原始算法和人工智能自动白平衡算法,它们都包含在XD融合——中。它可以被称为“技术池”,更加生动,因为更多的东西将被载入其中,它在未来将变得更加强大。
说到这里,我们还可以看到XD融合图像引擎一直存在。它不是今年从天上掉下来的,也不是华为新开发的芯片。它是华为多年来在手机图像上积累的各种技术的集合。它是通过异构计算、多芯片协作和软件端计算实现的。直到今年,计算摄影才逐渐成为手机成像行业公认的趋势,这也是它引起我们关注的原因。
那么,随着技术的发展,XD融合图像引擎能为消费者做什么呢?它存在的目的是一个:“让普通消费者以最简单的方式获得一幅好的画面。”这些年来我们确实看到了很多,那么华为是如何认识到这个问题的呢?
因此,在“以最简单的方式获得好的图像”这一看似被低估的目标背后,是大量计算的参与。任务越简单,要做的工作就越复杂。也是因为软硬件的配合,传统图像领域中的固定焦段概念在P40上变得“模糊”。也就是说,硬件本身的物理焦段和等效焦段被放置在XD融合系统中,这只是变焦成像的原始材料。整个变焦焦点部分是无缝连接的,并且都可以提供图像质量差别很小的优秀照片。这是XD融合意图实现和倡导整个图像系统的重要意义。
番外篇:P40 Pro+的10倍光学长焦模组
此次发布的P40系列被网民们戏称为“中杯、大杯、大杯”。其中,“大杯”P40专业版因为世界上第一个10倍光学长焦模块而备受关注。它是如何实现的?为什么后来它被拍卖了?
华为认为,高倍率光学长焦镜头是实现手机变焦的最佳方式,但镜头模块的物理特性(焦距越长,模块越长)与手机的身份设计相悖。因此,华为P40专业的10倍光学长焦模块,在P30专业长焦镜头横向长焦镜头模块和光敏器件的基础上,进一步采用全新的多反射长焦光路折叠技术,实现五反射光路,光路比上一代长焦镜头高178%。
该透镜模块的核心是用于折叠光路的反射镜组。然而,如何避免光路失真,保证反射质量,在光反射高达4次的过程中,成为实现这一结果的重中之重。在生活中的许多镜面反射场景中,我们可以看到反射面上的图像失真,这是由光路失真(不均匀的反射面)造成的。华为摄像团队首先想到借鉴芯片组装技术,但经过比较发现,芯片组装技术将芯片变形控制在10m水平,不能满足该模块的光学精度要求。
随后,根据光学设计模拟分析,该模块最基本的光学规格需要达到纳米级,即精度要求为1秒的发丝(发丝直径一般不超过100m)。同时,这种精度要求仍然需要在大规模批量生产中实现。经过多次努力和探索,镜头模组团队最终达到了30纳米左右的组装精度,达到了10倍光学远摄模组的技术标准。
一方面,高精度批量生产是唯一可能的;另一方面,P40 Pro远摄模块的调焦电机有特殊要求:在驱动具有多个反射面的反射镜移动时,不会干扰光路;电机只能“隐藏”在反射器后面的有限空间内,反射器的大部分重量都挂在电机的前端。
在这种状态下,电机不仅需要抵抗长力臂作用下L形反射镜产生的大扭矩,还需要保持在不同的拍摄场景中,能够高精度稳定地移动反射镜,并提供稳定的光学性能。最后,镜头模组团队采用斜槽式自动对焦马达,具有强大的磁力和精密的杠杆结构,以微妙地平衡前端的反射器负载。
同时,镜头模块还采用了优良的润滑材料,使电机能够高稳定性、高精度地移动反射镜,从而实现自动对焦功能——。这种独特的聚焦电机是该模块的专利之一。除了独特的设计和功能外,该电机还具有使用寿命长的特点。即使经过数百万次测试和极端环境测试,它仍然运转良好。
这些技术的难度不仅保证了P40专业实现10倍光学远摄,还影响了P40/P40专业与P40/P40专业一起上市的时间。因此,目前,我只能得到这些技术分析。让我们提前了解一下,然后我们就可以在获得“超级杯”后一起看看这个模块的性能了。
在末尾写
老实说,我写这篇文章真的很难,不是因为我不懂技术,而是因为整个XD融合图像引擎颠覆了我多年来接触到的许多摄影概念,比如焦距的概念。想想一年前,P30专业版“月球照片”事件风靡一时。然而,一年后的今年,看着这一系列在华为XD融合图像引擎上进行的技术描述,人们不禁感觉像从一个大梦中醒来。
“PS是对照片最不尊重的”。既然我们都可以接受在电脑上对照片进行后处理,为什么不能在手机完成事情并直接向我们展示结果时就接受呢?甚至传统RGGB原色的捕捉也可以被RYYB算法取代,甚至经典的RGB点阵显示也可以被QD-有机发光二极管技术颠覆。这可能是技术发展中必须面对的问题。从照片到“照片欺骗”到照片,我认为大多数人会在现实和更美丽的现实之间选择后者。