- 易迪拓培训,专注于微波、射频、天线设计工程师的培养
基于虚拟仪器的计算机视觉系统的研究
录入:edatop.com 点击:
随着计算机技术的不断发展,基于PC的视觉系统更加趋于经济和实用。含MMX的高能Pen tium处理器、坚固的操作系统、PCI局部总线以及具有友好用户接口的、基于虚拟仪器的图 像采集软硬件使今天的视觉应用系统的性能远非以往的系统所能比拟,而成本却在不断下降 。在计算机图像处理出现之前,图像处理都是光学照像处理和视频信号处理等模拟处理,伴 随计算机技术的快速发展,数字图像处理技术得到了长足进步,在灵活性、精度、调整和再 现性方面都表现出了卓越的性能。
在过去,PC视觉系统的建立是由系统集成人员、OEM和企业内部的视觉系统开发组联合 完成,今天,新的技术和基于虚拟仪器的图像处理软件使用户在极低成本下就可开发完成满 足大多数应用要求的计算机视觉应用系统。
虚拟仪器视觉应用系统能够为自动化系统提供过程监视、信息集中和反馈控制,实验室 自动化与图像处理系统则能够利用滤波与分析技术进行细胞数量、生物材料合格性等的测定 。事实上,当今的基于PC的视觉系统已能够以前所未有的效率、灵活性、一致性、可 靠性和数据吞吐能力执行更加复杂的检测任务。
1 基于虚拟仪器的视觉系统对PC性能的要求
1.1 PCI局部总线
PCI总线的高速数据吞吐能力能够很好地满足图像采集的需要,使之成为实时图像采集 的理想方案。因为每帧图像可能包含多达400KB的数据,高速传送这些数据对于实时显示与 分析至关重要。PCI不仅容易达到这个要求,而且可以进一步提供它的带宽来与其他数据采 集设备相集成。PCI图像采集板通过使用ASIC DMA控制器,可以充分利用PCI总线的带宽,无 需占用CPU时间,达到实时采集、显示与分析处理的目的。
PCI理论上所能提供的最大数据传输速率是132MB/s,64位PCI更可达267MB/s,足够满足 高清晰度电视(High Definition Television, HDTV)信号与实时三维虚拟现实(3D Virtual Reality, 3DVR)的需要。而且,由于PCI支持“即插即用(PnP)”自动配置功能,使得插入式 图象采集板的配置变得更加方便,其一切资源需求的设置工作在系统初启时交由BIOS处理, 无需用户进行繁琐的开关与跳线操作。
目前,基于PCI总线的数据采集/图像采集(DAQ/IMAQ)产品大大提高了计算机视觉系统 的性能。PCI总线能够达到132MB/s的传输速率。由于以这个速率传输数据会严重耗尽CPU时 间,最终会影响系统性能, DAQ/IMAQ厂商为基于PCI的DAQ/IMAQ传输器设计了ASIC芯片,如 NI公司的MITE芯片,它利用DMA技术不仅能完成PCI的最高传输速率,还能通过非连续的内存缓冲区而无需申请CPU时间。
1.2 MMX技术
Intel的MMX技术改进了视觉软件的性能,有效地提高了图像处理速度。对于大多数视觉 软件函数,含MMX的Pentium处理器的执行速度较不含MMX的Pentium处理器提高200%~400%, 这是由于MMX技术包含大量通用指令,增强了PC的处理能力,且与原有的Intel结构保持了完 整的兼容性。而且MMX技术也完全兼容于现存的各类操作系统与应用软件。利用MMX技术对于 大多数图像采集视觉函数如滤波、阈值处理、运算、逻辑和形态学等都有显著的性能增益。
2 软件处理与分析
数字图像处理是视觉系统的关键,在虚拟仪器系统中,这一切是通过计算机软件实现的 。目前国内外使用最为广泛的虚拟仪器开发平台是NI公司的LabVIEW和LabWindows/CVI,而 基于这两种软件的IMAQ Vision则为这两种平台提供了完整的图像处理函数库或功能模块, 如各类边缘检测算子、自动阈值处理、各种形态学算法、滤波器、FFT等,该库包含大量当 前证明成功的理论算法,使用户无需专业编程经验,即可迅速开发完成优秀的、适合本专业 的图像处理与分析系统。
3 种子等级判别视觉系统
3.1 系统配置
基于计算机视觉的种子等级判别视觉系统主要是用于大量籽粒的自动化计数与几何尺寸 特征测定,该系统的使用提高了测量精度和效率。其基本软硬件配置为:
硬件:彩色CCD、PCI-IMAQ-1408图象采集板(NI公司产品)、PC Pentium II/233计算机;
软件开发工具:LabWindows/CVI、IMAQ Vision;
操作系统:Windows NT 4.0。
3.2 图像采集
图像采集的过程也就是图像采集板对来自CCD的标准视频信号(PAL或NTSC制式)进行模 数转换的过程,量化后的数据通过PCI总线传入计算机内存。
3.3 图像处理
(1)中值滤波
图像信息在采集过程中往往受到各种噪声源的干扰,这些噪声在图像上常常表现为一些 孤立像素点,这可理解为像素的灰度是空间相关的,即噪声点像素灰度与它们的近邻像素有 显著不同。这种干扰如不经过滤波处理,会对以后的图像区域分割、分析、判断带来影响。与通常的线性滤波器(如低通滤波器)相比,非线性滤波器能够更好地解决某些图像处理问 题,其中最有用的叫作排序滤波器,可以在IMAQ Vision中即调即用。中值滤波是排序滤波 器的一种,它既可作到噪声抑制,滤除脉冲干扰及图象扫描噪声,又可以克服线性滤波器所 带来的图像细节模糊,保持图象边缘信息。中值滤波的思想是取一移动矩阵模板,进行如下处理:
①设定滤波器模板大小,如取5×5模板;
②将模板在图中漫游,并将模板中心与图中某一象素位置重合;
③读取模板下各对应象素的灰度值;
④将这些灰度值从小到大排成一列;
⑤找出这些值里排在中间的一个;
⑥将这个中间值赋给对应模板中心的象素。
由以上过程可以看出,中值滤波器的主要功能就是让与周围象素值的灰度差比较大的象 素改取与周围象素值接近的值,从而可以消除孤立的噪声点。
上述中值滤波的方法仅用于灰度图像,IMAQ Vision可以将其延伸至彩色图像 的处理,处理方法为:
①从原始32位彩色图象中分别抽取红、绿、蓝三色调色板。IMAQ Vision中一幅彩色图 象中R、G、B是用一32位的整数表示,第二个八位为R值,第三个八位为G值,第四个八位 为B值。如图1所示:
图1
②分别对红、绿、蓝色调模板(8位)进行中值滤波处理。和低通线性滤波器相比,中 值滤波器能够在衰减随机噪声的同时不使边界模糊,确保了精确的籽粒尺寸特征。
③处理之后的红、绿、蓝调色板根据相应的位运算取代原始图象的色调模板,生成新 的、剔除了噪声的32位彩色图象。
(2)彩色图像的二值化处理
采用RGB阈值处理算法,而非通常采用的灰度阈值算法,能够保证系统具有更高精度的 阈值运算结果,在光照条件较差的情况下,仍然能够得到处理质量良好的二值图象。采用传 统的灰度阈值算法,必须要求原始图像的目标对象与背景有较大的灰度差,才可能取得较好 的处理结果,因此必须对光照环境有较高的要求。试验证明,这种方法简便、有效,对后续 处理奠定了非常好的基础,但也需要花费时间对三色阈值进行人工调整。
(3)孔洞填充处理
经阈值处理之后的二值化图像目标区域内部可能会出现孔洞,其原因可以是光照条件、背景与目标在像素值上差别不明显,以及阈值选取不 合理等等。其处理思想为数学形态学的闭合算法。经过填充处理,目标区域(籽粒)内部的 孔洞得到填补。
(4)区域分割
仅仅采用阈值处理难以获得精确的区域分割结果。图3是图2图像中沿直线L的灰度直方 图,其中A、B、C、E、F、G六点都存在较大的灰度跳跃,而D点跳跃幅度小,显然,以D点取 阈值,会导致图像失真,无法得到精确的籽粒特征;而取低于D的A、B、C、E、F、G灰度值 为检测阈值,可以得到较为准确的籽粒边缘,但不能检测到D点存在的边缘信息。因此,当 阈值处理不能满足要求的情况下,需要利用形态学算法对图像进行分割。
图2 原始图像
图3 原始图像的灰度直方图
图象分割是将数字图象划分为互不相交(不重叠)区域的过程,是模式识别的基础。区 域分割是实现图象分割的一种方法,即把各像素划归到各个对象或区域中。对象一旦被分离 ,就可以对其测量和分类。
系统通过以上处理-滤波、二值化、孔洞填充等,为正确地区域分割奠定了基础。区域 分割的原理是“开启”算法。首先确定连通性准则为8连通,(8连通的结果与人的感觉更接 近),取结构元素为7×7矩阵模板,矩阵的中间位置为结构元素的原点。
经连续4次的腐蚀之后,将籽粒完全分离开来,见图4(b)。此时,图象中共包含31个对象。
图4(a)
图4(b)
IMAQ Vision在腐蚀处理之前先执行边缘检测,获得完整的目标边缘,腐蚀后再将籽粒 图像膨胀至边缘,这样,既保证了完全的图像分割,又保持了原有的对象边缘不受任何损失。
(5)过滤处理
在实际情况中,现场籽粒会带有大量微小尺寸的碎屑,如图4(a)、(b)的A、B,背景也 可能存在斑点,在图像处理中如不加以剔除,会被误为籽粒而作为统计样本。过滤处理是根 据目标对象尺寸进行过滤,其基本思想是数学形态学的腐蚀算法。IMAQ Vision进行几次腐 蚀后,同样将未腐蚀掉的籽粒对象恢复至腐蚀前的形状,以保证其边缘信息。
滤掉微小杂质后,进行籽粒彩色标识(图5)和特征统计,包括每一籽粒的面积、周长 、长径、短径、形心坐标等数据。处理结束。
图5 最终的图像处理结果
4 结束语
随着计算机技术特别是PCI总线技术、MMX技术及网络技术的发展,基于虚拟仪器的实时 图象采集视觉系统越来越广泛地应用于测试测量与控制领域。目前的Pentium MMX/PII/PIII PC和工作站配置多个PCI扩展槽及AGP视频卡,新的操作系统如Windows 95/98支持“即插即 用”,图采板开发商也在不断开发和完善驱动软件和模块化视觉软件来为用户提供更强有力 的API和更优秀的应用系统开发平台,使采用PC总线方案的虚拟仪器视觉系统灵活易用,功 能强大,具有良好的可扩性、维护性和性能价格比,因而正在为越来越多的用户所接受。
在过去,PC视觉系统的建立是由系统集成人员、OEM和企业内部的视觉系统开发组联合 完成,今天,新的技术和基于虚拟仪器的图像处理软件使用户在极低成本下就可开发完成满 足大多数应用要求的计算机视觉应用系统。
虚拟仪器视觉应用系统能够为自动化系统提供过程监视、信息集中和反馈控制,实验室 自动化与图像处理系统则能够利用滤波与分析技术进行细胞数量、生物材料合格性等的测定 。事实上,当今的基于PC的视觉系统已能够以前所未有的效率、灵活性、一致性、可 靠性和数据吞吐能力执行更加复杂的检测任务。
1 基于虚拟仪器的视觉系统对PC性能的要求
1.1 PCI局部总线
PCI总线的高速数据吞吐能力能够很好地满足图像采集的需要,使之成为实时图像采集 的理想方案。因为每帧图像可能包含多达400KB的数据,高速传送这些数据对于实时显示与 分析至关重要。PCI不仅容易达到这个要求,而且可以进一步提供它的带宽来与其他数据采 集设备相集成。PCI图像采集板通过使用ASIC DMA控制器,可以充分利用PCI总线的带宽,无 需占用CPU时间,达到实时采集、显示与分析处理的目的。
PCI理论上所能提供的最大数据传输速率是132MB/s,64位PCI更可达267MB/s,足够满足 高清晰度电视(High Definition Television, HDTV)信号与实时三维虚拟现实(3D Virtual Reality, 3DVR)的需要。而且,由于PCI支持“即插即用(PnP)”自动配置功能,使得插入式 图象采集板的配置变得更加方便,其一切资源需求的设置工作在系统初启时交由BIOS处理, 无需用户进行繁琐的开关与跳线操作。
目前,基于PCI总线的数据采集/图像采集(DAQ/IMAQ)产品大大提高了计算机视觉系统 的性能。PCI总线能够达到132MB/s的传输速率。由于以这个速率传输数据会严重耗尽CPU时 间,最终会影响系统性能, DAQ/IMAQ厂商为基于PCI的DAQ/IMAQ传输器设计了ASIC芯片,如 NI公司的MITE芯片,它利用DMA技术不仅能完成PCI的最高传输速率,还能通过非连续的内存缓冲区而无需申请CPU时间。
1.2 MMX技术
Intel的MMX技术改进了视觉软件的性能,有效地提高了图像处理速度。对于大多数视觉 软件函数,含MMX的Pentium处理器的执行速度较不含MMX的Pentium处理器提高200%~400%, 这是由于MMX技术包含大量通用指令,增强了PC的处理能力,且与原有的Intel结构保持了完 整的兼容性。而且MMX技术也完全兼容于现存的各类操作系统与应用软件。利用MMX技术对于 大多数图像采集视觉函数如滤波、阈值处理、运算、逻辑和形态学等都有显著的性能增益。
2 软件处理与分析
数字图像处理是视觉系统的关键,在虚拟仪器系统中,这一切是通过计算机软件实现的 。目前国内外使用最为广泛的虚拟仪器开发平台是NI公司的LabVIEW和LabWindows/CVI,而 基于这两种软件的IMAQ Vision则为这两种平台提供了完整的图像处理函数库或功能模块, 如各类边缘检测算子、自动阈值处理、各种形态学算法、滤波器、FFT等,该库包含大量当 前证明成功的理论算法,使用户无需专业编程经验,即可迅速开发完成优秀的、适合本专业 的图像处理与分析系统。
3 种子等级判别视觉系统
3.1 系统配置
基于计算机视觉的种子等级判别视觉系统主要是用于大量籽粒的自动化计数与几何尺寸 特征测定,该系统的使用提高了测量精度和效率。其基本软硬件配置为:
硬件:彩色CCD、PCI-IMAQ-1408图象采集板(NI公司产品)、PC Pentium II/233计算机;
软件开发工具:LabWindows/CVI、IMAQ Vision;
操作系统:Windows NT 4.0。
3.2 图像采集
图像采集的过程也就是图像采集板对来自CCD的标准视频信号(PAL或NTSC制式)进行模 数转换的过程,量化后的数据通过PCI总线传入计算机内存。
3.3 图像处理
(1)中值滤波
图像信息在采集过程中往往受到各种噪声源的干扰,这些噪声在图像上常常表现为一些 孤立像素点,这可理解为像素的灰度是空间相关的,即噪声点像素灰度与它们的近邻像素有 显著不同。这种干扰如不经过滤波处理,会对以后的图像区域分割、分析、判断带来影响。与通常的线性滤波器(如低通滤波器)相比,非线性滤波器能够更好地解决某些图像处理问 题,其中最有用的叫作排序滤波器,可以在IMAQ Vision中即调即用。中值滤波是排序滤波 器的一种,它既可作到噪声抑制,滤除脉冲干扰及图象扫描噪声,又可以克服线性滤波器所 带来的图像细节模糊,保持图象边缘信息。中值滤波的思想是取一移动矩阵模板,进行如下处理:
①设定滤波器模板大小,如取5×5模板;
②将模板在图中漫游,并将模板中心与图中某一象素位置重合;
③读取模板下各对应象素的灰度值;
④将这些灰度值从小到大排成一列;
⑤找出这些值里排在中间的一个;
⑥将这个中间值赋给对应模板中心的象素。
由以上过程可以看出,中值滤波器的主要功能就是让与周围象素值的灰度差比较大的象 素改取与周围象素值接近的值,从而可以消除孤立的噪声点。
上述中值滤波的方法仅用于灰度图像,IMAQ Vision可以将其延伸至彩色图像 的处理,处理方法为:
①从原始32位彩色图象中分别抽取红、绿、蓝三色调色板。IMAQ Vision中一幅彩色图 象中R、G、B是用一32位的整数表示,第二个八位为R值,第三个八位为G值,第四个八位 为B值。如图1所示:
图1
②分别对红、绿、蓝色调模板(8位)进行中值滤波处理。和低通线性滤波器相比,中 值滤波器能够在衰减随机噪声的同时不使边界模糊,确保了精确的籽粒尺寸特征。
③处理之后的红、绿、蓝调色板根据相应的位运算取代原始图象的色调模板,生成新 的、剔除了噪声的32位彩色图象。
(2)彩色图像的二值化处理
采用RGB阈值处理算法,而非通常采用的灰度阈值算法,能够保证系统具有更高精度的 阈值运算结果,在光照条件较差的情况下,仍然能够得到处理质量良好的二值图象。采用传 统的灰度阈值算法,必须要求原始图像的目标对象与背景有较大的灰度差,才可能取得较好 的处理结果,因此必须对光照环境有较高的要求。试验证明,这种方法简便、有效,对后续 处理奠定了非常好的基础,但也需要花费时间对三色阈值进行人工调整。
(3)孔洞填充处理
经阈值处理之后的二值化图像目标区域内部可能会出现孔洞,其原因可以是光照条件、背景与目标在像素值上差别不明显,以及阈值选取不 合理等等。其处理思想为数学形态学的闭合算法。经过填充处理,目标区域(籽粒)内部的 孔洞得到填补。
(4)区域分割
仅仅采用阈值处理难以获得精确的区域分割结果。图3是图2图像中沿直线L的灰度直方 图,其中A、B、C、E、F、G六点都存在较大的灰度跳跃,而D点跳跃幅度小,显然,以D点取 阈值,会导致图像失真,无法得到精确的籽粒特征;而取低于D的A、B、C、E、F、G灰度值 为检测阈值,可以得到较为准确的籽粒边缘,但不能检测到D点存在的边缘信息。因此,当 阈值处理不能满足要求的情况下,需要利用形态学算法对图像进行分割。
图2 原始图像
图3 原始图像的灰度直方图
图象分割是将数字图象划分为互不相交(不重叠)区域的过程,是模式识别的基础。区 域分割是实现图象分割的一种方法,即把各像素划归到各个对象或区域中。对象一旦被分离 ,就可以对其测量和分类。
系统通过以上处理-滤波、二值化、孔洞填充等,为正确地区域分割奠定了基础。区域 分割的原理是“开启”算法。首先确定连通性准则为8连通,(8连通的结果与人的感觉更接 近),取结构元素为7×7矩阵模板,矩阵的中间位置为结构元素的原点。
经连续4次的腐蚀之后,将籽粒完全分离开来,见图4(b)。此时,图象中共包含31个对象。
图4(a)
图4(b)
IMAQ Vision在腐蚀处理之前先执行边缘检测,获得完整的目标边缘,腐蚀后再将籽粒 图像膨胀至边缘,这样,既保证了完全的图像分割,又保持了原有的对象边缘不受任何损失。
(5)过滤处理
在实际情况中,现场籽粒会带有大量微小尺寸的碎屑,如图4(a)、(b)的A、B,背景也 可能存在斑点,在图像处理中如不加以剔除,会被误为籽粒而作为统计样本。过滤处理是根 据目标对象尺寸进行过滤,其基本思想是数学形态学的腐蚀算法。IMAQ Vision进行几次腐 蚀后,同样将未腐蚀掉的籽粒对象恢复至腐蚀前的形状,以保证其边缘信息。
滤掉微小杂质后,进行籽粒彩色标识(图5)和特征统计,包括每一籽粒的面积、周长 、长径、短径、形心坐标等数据。处理结束。
图5 最终的图像处理结果
4 结束语
随着计算机技术特别是PCI总线技术、MMX技术及网络技术的发展,基于虚拟仪器的实时 图象采集视觉系统越来越广泛地应用于测试测量与控制领域。目前的Pentium MMX/PII/PIII PC和工作站配置多个PCI扩展槽及AGP视频卡,新的操作系统如Windows 95/98支持“即插即 用”,图采板开发商也在不断开发和完善驱动软件和模块化视觉软件来为用户提供更强有力 的API和更优秀的应用系统开发平台,使采用PC总线方案的虚拟仪器视觉系统灵活易用,功 能强大,具有良好的可扩性、维护性和性能价格比,因而正在为越来越多的用户所接受。
上一篇:具有复杂处理功能的总线分析仪
下一篇:利用新的逻辑分析工具加快调试和验证