基于多DSP和FPGA的实时双模视频跟踪装置设计

1、引言

随着现代高速处理器的迅猛发展，图像处理技术也日益成熟。其中，移动目标的视频检测与跟踪是图像处理、分析应用的一个重要领域，是当前相关领域的研究前沿。移动目标视频检测与跟踪技术，在机器人视觉、交通监测、可视预警、机器导航等民用领域有着广泛的应用，同时在火力拦截、导弹电视和红外视频制导等军用方面也发挥着重要作用。基于二维转台以DSP和FPGA为核心器件构成的视频识别和跟踪装置，可工作于电视图像或红外两个波段，实现图像跟踪各项功能。本文提出的跟踪算法与设计的跟踪装置可在一定程度上解决视频跟踪精度低、处理速度慢的问题，同时本视频跟踪装置也可作为进一步研究图像处理与跟踪控制的平台。

2、视频跟踪装置的硬件设计

图像处理最主要的是实时性、可靠性和精确度。针对图像处理速度慢的问题，考虑从硬件和和软件两方面解决：一是选择高速的DSP和FPGA为核心器件；二是从平衡图像处理的实时性和效果中选择最优的图像处理算法。针对图像跟踪可靠性问题，采用双模式复合制导，由处理器根据信号的置信度来选择跟踪模式。针对图像形心跟踪算法的精度问题，采取基于去图像阴影的图像跟踪算法。

2.1 视频跟踪装置的图像信号处理模块硬件组成

为达到实时处理图像信号信息，我们选择3片高速DSP作为核心处理器。其中用作信息融合的是TMS320C6416，在跟踪模块中，使用了两片相对价格低廉一些的TMS320C6201实现并行图像跟踪算法。配合DSP工作的外围逻辑电路，我们采用xlinix公司的XCV400E型FPGA，同时实现部分的图像预处理功能。

本视频跟踪装置的图像信号处理模块主要硬件构成如图1所示：以电视图像波段为例，图像采集模块的传感器是面阵CCD摄像机，用来采集视频图像信息。A/D转换将拍摄到的模拟图像信号转为8位数字信号送FPGA处理，同步信号接受摄像机的行同步和场同步信号也送入FPGA。一部分处理的结果直接经D/A转换器送监视器显示。SDRAM数据存储区存储背景图像数据。一路在FPGA进行背景差分、4×4滑动平均、去阴影后形成的移动目标信号滤波后送到其中一块TMS320C6201执行基于分割的改进型形心跟踪算法，另一路则经过滤波后送入另一片TMS320C6201执行相关跟踪算法，然后由决策融合模块的TMS320C6416根据两路信号的置信度来选择跟踪模式，达到并行双模式图像复合跟踪。最后将目标位置信号进行转化后输送到运动控制器控制二维转台对移动目标进行实时跟踪。

2.2视频跟踪装置运动控制模块的硬件组成

运动控制模块硬件由GPT转台构成。GPT系列转台为模拟火炮或雷达跟踪系统的旋转运动系统，它包含电控箱、两维数控转台本体及运动控制器三大部分。转台本体主要由机械结构件（含PAN和TILT）、驱动用交流伺服电机（两套）、谐波减速器、斜齿轮、限位开关等部分组成。电控箱内安装有交流伺服驱动器、I/O接口板、开关电源、开关、指示灯和电气元件等主要部件。运动控制器主要由GT-400-SV运动控制卡、GM-400-SV运动控制卡用户接口软件等部分组成。作为机电控制系统的核心组成部分，GPT转台可用作监控设备的基础运动平台，又可作为研制火箭、导弹、鱼雷和卫星等高科技尖端武器的仿真和试验平台。该系统可实现：定位精度：±0.0069°；重复精度：±0.00056°；速度：0.01～90°/sec；加速度：90°/sec2；行程：Pan方向为±176°；Tilt方向为-15°～+50°；负载：30kg。

3、视频跟踪装置算法的分析

按照处理顺序，我们将整个过程分解为图2所示。图像采集模块：对视频图像进行A/D转换，形成原始的256级灰度图像，作为待处理的图像信息。背景差分模块：重建背景，并完成与当前帧的差分。在背景重建时采用基于最小二乘法的时域递推公式来完成，这个方法只需要一帧图像的存储，而且可以用递推实现。去噪声模块:做应用邻域平均法实现图像平滑滤波，以及采用颜色滤波法去除阴影等工作。以上算法都是针对FPGA的特点提出的，将FPGA设计成专用运算器并实现算法。

形心跟踪模块和相关跟踪模块分别使用的形心投影方法和二维最小绝对差累加和算法计算目标的位置，融合决策模块实现置信度选择，同时对目标信号进行拟合和轨迹外推，实现目标在偶然丢失下的预测跟踪，以及深度丢失下的跟踪状态转换和搜索状态下控制二维转台对视场的慢速扫搜。这部分针对DSP的特点，采用C语言编程实现。

3.1主要算法特点分析

（1）背景差分法算法

背景差分是利用当前图像与背景图像差分来检测出运动区域的一种技术，一般能提供最完全的特征数据，但对于动态场景的变化，如光照等事件的干扰特别敏感。考虑到摄像机移动缓慢，背景图像变化比较迟缓，而运动对象相对于背景变化较快，这样相对于变化较慢的背景图像来说，可把运动对象看作是一个对背景图像的随机扰动。针对本装置的设计要求，我们应用Kalman滤波器在零均值白噪声的退化公式即渐消记忆递归最小二乘法，来更新和重建背景图像，得到时域渐消递归最小二乘法的递归式：

来源：21IC电子网