- 易迪拓培训,专注于微波、射频、天线设计工程师的培养
用摄像手机拍出优质影像基本要素
录入：edatop.com 点击：
在摄像手机拍摄的每张精美影像的背后，都蕴含着无穷的电子、光学和机械魅力。整个过程安静恬淡，没有丝毫张扬，我们自然而然忽略了它的神奇。在此我们将探讨一下如何用摄像手机的CMOS(互补金属氧化物半导体)影像传感器制作精美的影像。
本文将对破坏原始影像的问题，如由于镜头的原因清晰度下降以及随机噪声和固定模式噪声(FPN)模式进行介绍，并将对事件成像链的基本要素，包括从捕获影像到后期处理整个过程使用的影像复原和影像增强机制进行探讨。
我们要讨论的后期处理效果包括自动曝光、自动白平衡、消除黑角(anti-vignetting)(校正镜头阴影)、色彩滤镜阵列内插(color filter array interpolation)、色彩还原和校正、锐化、珈玛校正、demosaicing以及实时(on-the-fly)缺陷识别和校正。
影像是如何生成的？
在使用普通的传统相机时，光学系统把捕捉到的光打在胶卷上，随后人们就可以通过一个化学过程对其进行曝光和冲洗。而在使用数码相机或摄影手机时，光仍然要通过由多个单元镜头和一个镜桶组成的光学系统，不同的是，现在光是打在由行和列组成的数字传感器阵列上，这一阵列由几百万个微小像素组成。例如，1280X1024像素的传感器为1.3 Mp传感器。
当光打在像素阵列上，它要通过彩色滤光片，确保只有蓝、红或绿色光到达每个像素上。在每个像素上，首先要生成一个模拟信号，该模拟信号通过模数转换器(ADC)转变为数字信号。这一信号然后被发送到我们称之为成像管道(Image Pipe 或I-Pipe)的地方。成像管道由一系列过滤处理器组成，这些过滤处理器会使信号看起来象真的图片一样，也就是会被我们认为是用好相机拍摄的照片。
成像管道可调节白平衡和颜色并用“捕获方式”改变图片所带的某些异常情况，例如：镜头阴影、影像几何变形、偏离镜头中心时图片清晰度下降以及数字传感器噪声。Avago Technologies处理器或成像管道也可以压缩影像，它将使用JPEG格式生成可以快速写入存储介质的影像，这一压缩影像文件较小，但很精确。临时存储区也称之为缓冲区，图片在被压缩以实现最终存储之前就保存在这里。
光线预处理
红外线滤镜的作用是挡住超过780nm的红外线并使光谱的可见光部分通过，从而确保传感器仅聚焦于肉眼所看到的事物，并优化色彩整合。这就好像在音响设备中，对大于22 kHz的声音不做处理一样，因为人们根本听不到这些声音，所以音响组件根本不需要对这些会降低效率或使可听到的声音失真的超量信息进行处理。如果不以这种方式将红外线挡住，这些红外线会使影像变得模糊不清，并会降低镜头所形成影像的清晰度。红外滤镜分为吸收型和反射型两种。
在这个过程中，还使用显微透镜对昏暗的光线进行预处理，这样就可以将这些光线以尽可能垂直的方向准确折射成像。这个显微透镜可以增强像素的光学灵敏度，通常位于色彩滤镜阵列(CFA)之上。
色彩滤镜阵列－Bayer滤镜
光电二极管只能感应光线亮度，不能感应色彩信息。因此，必须使用某种机制以人工的方式增强它对不同色彩的灵敏度，从而向人眼呈现不同的颜色。色彩滤镜阵列的作用是确保每个传感器像素只会收到一种颜色的光：通常是红蓝绿三种颜色。色彩滤镜阵列可以使用不同的模式。由于人眼感应色彩的方式以及人眼对绿色的灵敏度是其对红色和蓝色灵敏度二倍这一事实，要模仿人眼的感应方式，相机需要使用更多的绿色像素来表现会被人们认为是正确颜色的影像。
Bayer 模式交替使用一组红色和绿色滤镜以及一组绿色和蓝色滤镜，其中绿色像素的总数为红色和蓝色像素之和。用Bayer滤镜制作的原始输出是红、蓝、绿三种颜色像素的相互镶嵌，但各种颜色像素的强度不同，这主要取决于光线照在某一特定像素上的角度。
Demosaicing
在用色彩滤镜阵列生成影像时，有4种不同的像素决定着每个像素的颜色。这就形成了一个不同色彩的组合，但看起来还不象一个真正的影像。为此，使用了一种算法。这种算法使用距离目标像素最近的像素的平均色彩值来尽可能完美地模拟目标像素的真正颜色。这种插入缺失值的方法称之为demosaicing。有多种demosaicing算法，例如双线性内插法。
白平衡
在用胶卷摄影时，可根据拍摄光线的类型调整白平衡设置，例如：室内日光灯、钠灯、卤钨灯、室外晴天和室外阴天。如果不进行校正的话，例如，在日光灯下拍摄的图片会偏绿，而在室外晴天的情况下拍摄的图片可能又有点偏黄。自动白平衡校正可以确保影像中的白色与观察者看到的真正的白色一样。一个高级的自动白平衡(AWB)系统(如适用于摄像手机传感器的Avago Technologies I-Pipe)，可根据影像拍摄的照明条件，使影像几乎呈现为真正的白色。
影像还原：消除不必要的人为因素
在胶卷的世界中，可以与噪声划等号的是胶卷的颗粒度。因此，ASA400胶卷要比ASA 100胶卷的颗粒大。在CMOS或CCD传感器中，有好几种不符合要求的噪声源。必须要消除这些噪声源或至少要减轻它们的影响。
1) 固定模式噪声(FPN)：这种噪声会在每张拍摄的照片中产生同样的噪声模式。可以减轻这种噪声，具体方法为：在“黑暗”中读取照片(在无光的情况下曝光)，然后用标准读数(正常曝光的情况下)减去这个结果。黑暗级的输出电流是指在没有照明的条件下所产生的平均输出级别。因此，它包含光电二极管的泄漏电流。视觉黑像素是指不参与感光的像素。人们常常用它作为参考像素，来查找黑暗电流并对它进行相应的校正。
2) 随机噪声。随机噪声是指周围环境产生的噪声。温度越高，离开轨道的电子就越多，同时还会在传感器中产生随机噪声信号。传感器电路散热或者环境温度升高都会加剧这种噪声。在夏季，用放在车内的摄像手机所拍摄的照片比将它放在凉爽的大楼中拍摄的照片要差很多。
在某些用于天文观测的复杂数码SLR和相机中，为了将热噪声降低到最小程度，会将传感器封装在迷你冰箱中。一些高端天文照相机使用液氮来降低传感器的温度。在开氏零度或摄氏－273度，从理论上讲，电子中不存在动能，因此，也就没有噪声。在光线较弱的情况下，信噪比较低，影像中的噪声较多。
3) 像素干扰(pixel cross talk)。像素干扰是指通过一个像素的光线交叉进入邻近的像素所产生的一种混乱状态，这是由于，例如，一个红色的像素让“红色的”光进入邻近的蓝色像素，引起蓝色像素中信号增加而红色信息中影像信息丢失所致。
在比较高端的Avago Technologies传感器中，还使用了另外一个显微透镜通过再次曲光来进一步降低像素，这样就可以将光线交叉进入邻近像素引起像素交叉干扰的机会降到最小的程度。
有时分辨率较高的传感器拍出的影像比用较低分辨率的传感器质量差。这是因为像素数量只是进行信息采集的一个方式。像素大小还决定着信噪比的大小。总的来说，较大的像素尺寸要比较小的好，这是因为像素尺寸较大，收集光线的面积较大，因此，可以捕获更多光子，与存在的所有噪声相比，这会产生较大信号。这也就是有些5 Mp 数码相机(DSC)所生成的图片不如好的3MP相机质量好的原因。
相对于一个特定的半导体生产工艺而言，不论像素有多大，所产生的噪声几乎是相同的，而且信号随着像素尺寸的增大而增强，所以，对一个类似的过程来说，像素越大，影像越好、越清晰。
实时缺陷校正
在传感器上总是有一些不尽人意的有缺陷的像素和区域。在生产过程中，传感器中可能会带入了一些光学污点或电路故障。这可能会产生非常不理想的视觉效果，导致与入射光不一致或非线性反应的产生。有时，像素还可能出现一些电子异常，如，某些像素输出较高，而其它像素则输出较低，从而产生比可以接收的平均水平要低的输出。
I-Pipe可以通过测量像素的输出并将其与邻近像素的平均值进行对比来确定是否某个像素存在缺陷。如果该像素输出与邻近像素输出的平均值之差大于某个容许极限值，该像素将被标记为坏像素，它的输出不再有效。可以用内差值法替换那个目标像素所在位置的输出值，具体方法如下：获得邻近像素的输出值，并求出它们的平均值，这样就可以得出坏像素的“模拟”输出。这种缺陷校正存在的问题是：有时它会降低整行的线(行)分辨率，除非以保守的方式使用。还可以使用其它专有方法和算法来减轻这些缺陷。
增强降质影像的分辨率或清晰度
现在，我们已经了解了光线通过光学镜头、Bayer矩阵以及一个或多个显微透镜的方式以及如何使用demosaicing、插值(interpolation)、消除黑角、缺陷校正等方法重现我们熟悉的影像。正如您所猜测的那样，进行这么多人为的电子处理会使最后的影像比它原本的颜色要暗。这就要求我们使用另一种过滤处理器，比较有代表性的是一种可以恢复影像表面清晰度的平滑影像边缘技术。通过向经过校正的影像添加部分高通(high-pass)信号(仅是高频信号)就可以获得所需的清晰度。噪音锐化的程度取决于所添加高通信号的多少。
消除黑角
黑角是指由于镜头和镜桶的原因在图片边缘生成的阴影或黑影。消除黑角技术可以校正这种异常，通过将黑角的照明比校正为影像中心的照明比，影像看起来就好像没有不正常的阴影了。
概述
现在，我们已经了解了光线通过光学镜头、Bayer矩阵以及一个或多个显微透镜的方式以及如何通过定型以及调整重现我们熟悉的精美影像的过程。随着摄像手机从低端产品发展为带有较好分辨率和影像质量的中端数码相机(可以实现较好的4x6打印)，我们不但需要极好的影像后期处理技术，而且还需要今天数码相机中已经采用的基本功能。
光学变焦、自动对焦和photo strength 闪光等功能需要进行内部影像处理以及I-Pipe早期阶段不需要的支持功能。I-Pipe的神奇之处在于可支持类似于数码相机的功能，但是这又带来了另一层复杂性。它面临着双重挑战，一方面要确保自己强大的功能，另一方面是以如今价格高度敏感的摄像手机市场中令人心动的价格始终如一地提供一流的影像质量。
谁知道为了实现这个摄像手机时代产生众所公认的影像质量这些经济需求还需要什么新形式的神奇处理技术。不管我们身处何处，也不管我们生活在什么样的时代，人类对精美影像的认知总是与观察者心有灵犀，这就是信号。
这就是我真诚地向您详细介绍这方面信息的原因，这些信息应与当前时代和今后的发展没有太多的偏差或曲解。有关制作高质影像的其它事情您一定已经知道了！
注：Feisal Mosleh拥有伦敦大学皇家学院的荣誉理学学士学位以及英国Durham大学电子工程硕士学位。他现在是Avago Technologies传感器解决方案分部的全球战略营销经理，该分部位于加拿大。
Avago Technologies
传感器解决方案分布
全球战略营销经理
Feisal Mosleh
本文将对破坏原始影像的问题，如由于镜头的原因清晰度下降以及随机噪声和固定模式噪声(FPN)模式进行介绍，并将对事件成像链的基本要素，包括从捕获影像到后期处理整个过程使用的影像复原和影像增强机制进行探讨。
我们要讨论的后期处理效果包括自动曝光、自动白平衡、消除黑角(anti-vignetting)(校正镜头阴影)、色彩滤镜阵列内插(color filter array interpolation)、色彩还原和校正、锐化、珈玛校正、demosaicing以及实时(on-the-fly)缺陷识别和校正。
影像是如何生成的？
在使用普通的传统相机时，光学系统把捕捉到的光打在胶卷上，随后人们就可以通过一个化学过程对其进行曝光和冲洗。而在使用数码相机或摄影手机时，光仍然要通过由多个单元镜头和一个镜桶组成的光学系统，不同的是，现在光是打在由行和列组成的数字传感器阵列上，这一阵列由几百万个微小像素组成。例如，1280X1024像素的传感器为1.3 Mp传感器。
当光打在像素阵列上，它要通过彩色滤光片，确保只有蓝、红或绿色光到达每个像素上。在每个像素上，首先要生成一个模拟信号，该模拟信号通过模数转换器(ADC)转变为数字信号。这一信号然后被发送到我们称之为成像管道(Image Pipe 或I-Pipe)的地方。成像管道由一系列过滤处理器组成，这些过滤处理器会使信号看起来象真的图片一样，也就是会被我们认为是用好相机拍摄的照片。
成像管道可调节白平衡和颜色并用“捕获方式”改变图片所带的某些异常情况，例如：镜头阴影、影像几何变形、偏离镜头中心时图片清晰度下降以及数字传感器噪声。Avago Technologies处理器或成像管道也可以压缩影像，它将使用JPEG格式生成可以快速写入存储介质的影像，这一压缩影像文件较小，但很精确。临时存储区也称之为缓冲区，图片在被压缩以实现最终存储之前就保存在这里。
光线预处理
红外线滤镜的作用是挡住超过780nm的红外线并使光谱的可见光部分通过，从而确保传感器仅聚焦于肉眼所看到的事物，并优化色彩整合。这就好像在音响设备中，对大于22 kHz的声音不做处理一样，因为人们根本听不到这些声音，所以音响组件根本不需要对这些会降低效率或使可听到的声音失真的超量信息进行处理。如果不以这种方式将红外线挡住，这些红外线会使影像变得模糊不清，并会降低镜头所形成影像的清晰度。红外滤镜分为吸收型和反射型两种。
在这个过程中，还使用显微透镜对昏暗的光线进行预处理，这样就可以将这些光线以尽可能垂直的方向准确折射成像。这个显微透镜可以增强像素的光学灵敏度，通常位于色彩滤镜阵列(CFA)之上。
色彩滤镜阵列－Bayer滤镜
光电二极管只能感应光线亮度，不能感应色彩信息。因此，必须使用某种机制以人工的方式增强它对不同色彩的灵敏度，从而向人眼呈现不同的颜色。色彩滤镜阵列的作用是确保每个传感器像素只会收到一种颜色的光：通常是红蓝绿三种颜色。色彩滤镜阵列可以使用不同的模式。由于人眼感应色彩的方式以及人眼对绿色的灵敏度是其对红色和蓝色灵敏度二倍这一事实，要模仿人眼的感应方式，相机需要使用更多的绿色像素来表现会被人们认为是正确颜色的影像。
Bayer 模式交替使用一组红色和绿色滤镜以及一组绿色和蓝色滤镜，其中绿色像素的总数为红色和蓝色像素之和。用Bayer滤镜制作的原始输出是红、蓝、绿三种颜色像素的相互镶嵌，但各种颜色像素的强度不同，这主要取决于光线照在某一特定像素上的角度。
Demosaicing
在用色彩滤镜阵列生成影像时，有4种不同的像素决定着每个像素的颜色。这就形成了一个不同色彩的组合，但看起来还不象一个真正的影像。为此，使用了一种算法。这种算法使用距离目标像素最近的像素的平均色彩值来尽可能完美地模拟目标像素的真正颜色。这种插入缺失值的方法称之为demosaicing。有多种demosaicing算法，例如双线性内插法。
白平衡
在用胶卷摄影时，可根据拍摄光线的类型调整白平衡设置，例如：室内日光灯、钠灯、卤钨灯、室外晴天和室外阴天。如果不进行校正的话，例如，在日光灯下拍摄的图片会偏绿，而在室外晴天的情况下拍摄的图片可能又有点偏黄。自动白平衡校正可以确保影像中的白色与观察者看到的真正的白色一样。一个高级的自动白平衡(AWB)系统(如适用于摄像手机传感器的Avago Technologies I-Pipe)，可根据影像拍摄的照明条件，使影像几乎呈现为真正的白色。
影像还原：消除不必要的人为因素
在胶卷的世界中，可以与噪声划等号的是胶卷的颗粒度。因此，ASA400胶卷要比ASA 100胶卷的颗粒大。在CMOS或CCD传感器中，有好几种不符合要求的噪声源。必须要消除这些噪声源或至少要减轻它们的影响。
1) 固定模式噪声(FPN)：这种噪声会在每张拍摄的照片中产生同样的噪声模式。可以减轻这种噪声，具体方法为：在“黑暗”中读取照片(在无光的情况下曝光)，然后用标准读数(正常曝光的情况下)减去这个结果。黑暗级的输出电流是指在没有照明的条件下所产生的平均输出级别。因此，它包含光电二极管的泄漏电流。视觉黑像素是指不参与感光的像素。人们常常用它作为参考像素，来查找黑暗电流并对它进行相应的校正。
2) 随机噪声。随机噪声是指周围环境产生的噪声。温度越高，离开轨道的电子就越多，同时还会在传感器中产生随机噪声信号。传感器电路散热或者环境温度升高都会加剧这种噪声。在夏季，用放在车内的摄像手机所拍摄的照片比将它放在凉爽的大楼中拍摄的照片要差很多。
在某些用于天文观测的复杂数码SLR和相机中，为了将热噪声降低到最小程度，会将传感器封装在迷你冰箱中。一些高端天文照相机使用液氮来降低传感器的温度。在开氏零度或摄氏－273度，从理论上讲，电子中不存在动能，因此，也就没有噪声。在光线较弱的情况下，信噪比较低，影像中的噪声较多。
3) 像素干扰(pixel cross talk)。像素干扰是指通过一个像素的光线交叉进入邻近的像素所产生的一种混乱状态，这是由于，例如，一个红色的像素让“红色的”光进入邻近的蓝色像素，引起蓝色像素中信号增加而红色信息中影像信息丢失所致。
在比较高端的Avago Technologies传感器中，还使用了另外一个显微透镜通过再次曲光来进一步降低像素，这样就可以将光线交叉进入邻近像素引起像素交叉干扰的机会降到最小的程度。
有时分辨率较高的传感器拍出的影像比用较低分辨率的传感器质量差。这是因为像素数量只是进行信息采集的一个方式。像素大小还决定着信噪比的大小。总的来说，较大的像素尺寸要比较小的好，这是因为像素尺寸较大，收集光线的面积较大，因此，可以捕获更多光子，与存在的所有噪声相比，这会产生较大信号。这也就是有些5 Mp 数码相机(DSC)所生成的图片不如好的3MP相机质量好的原因。
相对于一个特定的半导体生产工艺而言，不论像素有多大，所产生的噪声几乎是相同的，而且信号随着像素尺寸的增大而增强，所以，对一个类似的过程来说，像素越大，影像越好、越清晰。
实时缺陷校正
在传感器上总是有一些不尽人意的有缺陷的像素和区域。在生产过程中，传感器中可能会带入了一些光学污点或电路故障。这可能会产生非常不理想的视觉效果，导致与入射光不一致或非线性反应的产生。有时，像素还可能出现一些电子异常，如，某些像素输出较高，而其它像素则输出较低，从而产生比可以接收的平均水平要低的输出。
I-Pipe可以通过测量像素的输出并将其与邻近像素的平均值进行对比来确定是否某个像素存在缺陷。如果该像素输出与邻近像素输出的平均值之差大于某个容许极限值，该像素将被标记为坏像素，它的输出不再有效。可以用内差值法替换那个目标像素所在位置的输出值，具体方法如下：获得邻近像素的输出值，并求出它们的平均值，这样就可以得出坏像素的“模拟”输出。这种缺陷校正存在的问题是：有时它会降低整行的线(行)分辨率，除非以保守的方式使用。还可以使用其它专有方法和算法来减轻这些缺陷。
增强降质影像的分辨率或清晰度
现在，我们已经了解了光线通过光学镜头、Bayer矩阵以及一个或多个显微透镜的方式以及如何使用demosaicing、插值(interpolation)、消除黑角、缺陷校正等方法重现我们熟悉的影像。正如您所猜测的那样，进行这么多人为的电子处理会使最后的影像比它原本的颜色要暗。这就要求我们使用另一种过滤处理器，比较有代表性的是一种可以恢复影像表面清晰度的平滑影像边缘技术。通过向经过校正的影像添加部分高通(high-pass)信号(仅是高频信号)就可以获得所需的清晰度。噪音锐化的程度取决于所添加高通信号的多少。
消除黑角
黑角是指由于镜头和镜桶的原因在图片边缘生成的阴影或黑影。消除黑角技术可以校正这种异常，通过将黑角的照明比校正为影像中心的照明比，影像看起来就好像没有不正常的阴影了。
概述
现在，我们已经了解了光线通过光学镜头、Bayer矩阵以及一个或多个显微透镜的方式以及如何通过定型以及调整重现我们熟悉的精美影像的过程。随着摄像手机从低端产品发展为带有较好分辨率和影像质量的中端数码相机(可以实现较好的4x6打印)，我们不但需要极好的影像后期处理技术，而且还需要今天数码相机中已经采用的基本功能。
光学变焦、自动对焦和photo strength 闪光等功能需要进行内部影像处理以及I-Pipe早期阶段不需要的支持功能。I-Pipe的神奇之处在于可支持类似于数码相机的功能，但是这又带来了另一层复杂性。它面临着双重挑战，一方面要确保自己强大的功能，另一方面是以如今价格高度敏感的摄像手机市场中令人心动的价格始终如一地提供一流的影像质量。
谁知道为了实现这个摄像手机时代产生众所公认的影像质量这些经济需求还需要什么新形式的神奇处理技术。不管我们身处何处，也不管我们生活在什么样的时代，人类对精美影像的认知总是与观察者心有灵犀，这就是信号。
这就是我真诚地向您详细介绍这方面信息的原因，这些信息应与当前时代和今后的发展没有太多的偏差或曲解。有关制作高质影像的其它事情您一定已经知道了！
注：Feisal Mosleh拥有伦敦大学皇家学院的荣誉理学学士学位以及英国Durham大学电子工程硕士学位。他现在是Avago Technologies传感器解决方案分部的全球战略营销经理，该分部位于加拿大。
Avago Technologies
传感器解决方案分布
全球战略营销经理
Feisal Mosleh
上一篇：谁有candence？
下一篇：共享一篇关于移动视频的文档
