解读主流品牌手机相机背后的图像处理器

进入八月底，手机市场变得异常热闹，大有你方唱罢我登场的阵势——魅族MX3刚发布，小米3、索尼Xperia Z1、Galaxy Note III、iPhone 5S/C、OPPO N1陆续热闹登场……几乎无一例外，相机功能成为了这些业界瞩目的明星产品主要功能诉求之一。在智能手机日趋同质化的今天，相机也成为了厂商在产品宣传上重点进行差异化的焦点之一，防抖动、高速连拍、美颜……各种功能特性扯足眼球。

正所谓外行热闹，内行看门道，各种宣传说辞背后，是软硬件技术实力的比拼。手机相机受尺寸限制，难免先天不足——镜头必须尽量小以适应手机相机的封装，这导致图像传感器获取的图像信号难以像数码相机一样的出色，因此作为数码相机功能的关键功能模块的图像处理器（ISP）担当起了提升图像传感器捕获的图像质量的“重任”。

在这些“明星”产品中，魅族MX3手机相机公开采用了富士通4通道ISP芯片。无独有偶，在当前国内外多个主流品牌的热门机型中，包括魅族MX2、三星Galaxy Note II和Galaxy ZOOM，以及OPPO的几款主流主流手机产品中，我们也能发现富士通ISP技术的身影。为此，笔者近日特别采访了富士通半导体公司图像处理技术负责人Holmes 沈，期待挖掘出手机相机ISP的“那些事”。

解析主流数码相机ISP Milbeaut的技术基因
富士通数码相机ISP产品家族基于其2000年开始推出的图像处理器Milbeaut技术，目前已经发展到第六代。作为数码相机产品的核心器件，Milbeaut算是实实在在的“幕后英雄”， 其名号并不为大多数人所知，甚至网上也难以搜到太多相关介绍。但Holmes抛出的第一个数据就让人不得不对Milbeaut刮目相看：“Milbeaut占据全球数码相机ISP市场超过50%的份额，全球知名数码相机厂商几乎都与我们有合作，在单反数码相机中同样有大量的成功应用。”

近年来，高像素相机逐渐成为中高端手机的主流配置，而独立ISP具有的突出图形处理能力，开始替代500万像素时代的集成ISP，这类独立ISP开始走向手机应用的舞台。当前智能手机厂商大都倾向于采用专用的ISP，因为这样能实现可以与高端数码相机媲美的图像质量和性能。而富士通半导体公司基于其占据数码相机市场领先优势的图像处理器Milbeaut开发了针对手机相机应用的Milbeaut Mobile ISP系列，成功地将其在数码相机ISP芯片上的领先技术成功复制到手机相机应用上。据悉，在日本厂商生产的配备800万像素以上摄像头的终端中，富士通的图像处理LSI确保了近80％的份额。

“在2008年，第三代Milbeaut Mobile ISP就率先采用了多种在数码相机中成功应用的功能，如静态图像拍照的连续自动对焦、人脸识别、。”Holmes指出，“第六代Milbeaut Mobile ISP MBG046就采用了几乎所有的相机功能，而且还具有高清视频（1920x1080像素）连续自动对焦，以及市场需求视频处理器。”在采访中，Holmes对Milbeaut的领先功能特性如数家珍：“MBG046基本的功能特性包括实时转换和校正来自传感器的信号，并输出到应用处理器。ISP针对手机相机系统进行了优化，能使应用处理器直接显示接收到的图像数据，并无需修改直接存储这些数据……”按照Holmes的详细介绍，Milbeaut Mobile ISP MBG046主要功能特性可以总结如下：

高速图像处理。MBG046图像处理器执行基本的图像处理功能，可以实现每秒24帧、每帧8MB的图像处理，以及每秒超过30帧的高清图像处理。几乎所有的基本图像处理功能由硬件实现，从而可以实现很高的处理速度和低功耗。此外，由于应用处理器是手机相机在图像处理的流程中的下一级，如果来自传感器的数据不能及时转换以及进行校准处理，对于拍摄视频这种对响应速度很敏感的应用来说，就会存在延时的问题。Milbeaut Mobile ISP通过将由图像处理器单元处理过的图像数据直接发送到图像输出单元，而不是通常方案中经由SDRAM进行各种插值处理，从而实现了快速处理，消除了信号转换、校正处理导致的延时。

超强的噪声消除功能。由于Milbeaut Mobile ISP产品面对的相机应用一般不可能采用可与数码相机媲美的相机镜头，要保证图像质量具有挑战性，特别是处理图像噪声非常重要。因此，MBG046图像处理器采用了比数码相机更强大的机制来保证对亮度噪声和色彩噪声的消除。为消除噪声同时不降低分辨率，在MBG046中采用了最新的技术，从而可以同时采用不同的噪声消除方法以匹配图像质量。

优化的软件配置。软件处理是相机系统中的一个重要部分，是硬件序列控制和“3A”（自动白平衡调整、自动曝光调整、自动对焦调整）运算不可或缺的部分。设计上，富士通将那些涉及复杂处理，但是运算量轻的任务转移到软件实现，而将运算量很大的图像数据处理由专用硬件实现。这样的配置能让更多的CPU资源用于额外的软件图像处理（运动补偿、人脸识别等），从而可以让系统更灵活，也能将更多资源用于实现先进的处理性能。

定制化设计服务带来差异设计机会
芯片的技术特性之外，Holmes还非常强调富士通针对客户需求提供定制化设计服务的价值。“技术支持是客户看重富士通的另外一个方面，我们可以根据客户对相机功能、性能的定义，结合我们的专业Knowhow去帮助客户最快实现产品市场化。”Holmes指出，“比如最新发布的魅族MX3手机，在产品定义的阶段，我们的十多位技术专家组成的技术支持团队就参与进去了。”

魅族MX3发布获得业界广泛好评，尤其其相机功能采用四通道富士通ISP，实现了同等配置下诸多突破性的性能设计——每秒20张连拍、零延时拍照技术、第四代白平衡算法， MX3采用的富士通四通道ISP芯片与传统的双通道ISP相比传输速度快两倍……而这些独特的功能特性背后是大量对关键技术的设计探讨和创新探索，如在魅族公开宣传中提到的针对第四代白平衡算法进行了数万次优化；“零延时拍照”技术在按下拍照键的瞬间，巧妙地从前面1/8秒中挑选出最佳的画面，从而避开快门抖动。

富士通强调的三大核心竞争力：品质、生态系统和技术支持

Holmes还提到另外一个定制化的设计细节——在MX3的相机方案中，富士通工程师团队通过与魅族设计团队联合设计，实现了前置200万像素摄像头与后置800万像素摄像头共享同一颗ISP，这样确保了前后相机拍照时照片品质的一致性。而此前，很多前置摄像头采用了传感器模块内置ISP进行前拍图像处理，照片的一致性通常难以保证。

“事实上，这样的定制化设计服务在很多主要客户中进行，这种贴身的定制化设计合作，可以帮助客户借用我们的专业经验弥补他们的不足。”Holmes指出，“数码相机设计涉及到大量的专业技术知识和IP，这不仅是很多手机厂商所欠缺的，甚至也是很多ISP厂商所难以具备的，因为这背后是需要大量的案例和时间的技术积累。”据悉，富士通目前负责Milbeaut产品的工程师团队超过150人，这其中大部分都具有8、9年的研发经验。“大陆的研发团队与客户的设计团队一起工作，他们丰富的经验能满足绝大部分的客户需求，对于更深层的技术定制化需求，富士通日本的核心团队可以参与提供支持。”Holmes说道。

未来发展趋势对ISP要求更多
近日，有专业分析人士认为，2014年业界将推出1600万像素手机，2015年手机可能出现2k、4k需求，人脸识别以及手势功能即将成为高端手机的标配……除了更高的像素，这些发展趋势对相机模块主要特性提出更高的要求，例如更高帧率，更突出的3A性能、更具挑战性的低功耗设计等等。

“对于智能手机应用而言，低功耗特性是个永远的话题。”Holmes指出，“如何利用软硬件优化，甚至借助独特的工艺技术来实现低功耗都是ISP供应商必须解决的挑战。”据悉，目前富士通M10MO ISP在1080P@30FPS下的平均功耗约280mW，是业界很低的水平。“未来我们可能借助40nm甚至20nm及以下的半导体工艺实现更低的功耗。”Holmes表示。在低功耗方面，富士通拥有SuVolta公司的深度耗尽沟道（DDC）技术授权，采用该技术可以将芯片功耗进一步降低15~20%。富士通最新推出的MB86S22AA Milbeau图像处理器就是业界首款基于DDC晶体管的芯片，与现有产品相比就实现了约两倍的处理性能，而功耗却降低了30%。

“另外值得指出的是，更高像素的图像处理以及2K、4K视频将与当前的图像处理方式存在很大的差异，将要求更高的带宽，成本、功耗也将面临很大压力，这都对图像处理器供应商的技术能力带来很大的挑战。”Holmes指出。据Holmes透露，富士通支持诸多领先新特性的ISP产品预计今年年底或明年初面市，将支持16M@30FPS拍照、H.264视频压缩格式、1080P@60FPS视频功能等等。而且在算法上将有新的升级，包括采用新的噪声消除算法、新的CI算法。

关于即将面市的Milbeaut Mobile ISP新品还有哪些突出功能和性能？电路设计和算法上将有哪些创新思路？对手机相机将产生哪些影响？对于这些问题，Holmes没有透露更多技术细节，我们拭目以待吧。