基于全局运动补偿的多运动目标检测方法研究

摘  要： 提出了一种动态背景下的对多个运动目标检测的完整方法。利用基于宏块匹配的六参数全局运动估计方法进行全局运动补偿，有效地消除了摄像机在非稳定运动情况下对目标检测性能带来的不利影响。同时在宏块匹配前进行了预处理，通过预判提取纹理信息丰富的宏块，并在宏块匹配的过程中采用九点十字搜索算法取代传统的三步搜索算法，减少了匹配数据量。通过六参数运动模型计算得到摄像机全局运动参数，然后对运动背景进行全局补偿。补偿后经过后处理提取运动区域。实验证明，本方法能够有效地检测出动态背景下的运动目标。
关键词： 动态背景; 目标检测; 全局运动补偿; 九点十字搜索法

    基于视频的目标检测技术是计算机视觉的主要研究方向之一，它是智能监控、移动机器人视觉导航、武器引导、全景战车等应用的基础和关键技术，具有十分重要的研究价值[1]。
    目标检测分为多种类型。按照摄像机是否运动可分为两种情况：静态背景下的运动目标检测与跟踪，通常指摄像机相对背景静止的状态，如用于交通路口的安全监控系统;动态背景下的运动目标检测与跟踪，通常指摄像机相对背景发生运动的状态，如利用单摄像机进行全景监控、机载航空相机、弹载的红外CCD摄像头[2]。在动态背景下，由于背景和前景都是运动的，相对静态背景要准确检测和跟踪目标要复杂和困难得多。
    本文主要针对复杂动态广场背景下单摄像机对多个运动目标进行检测的情况，在传统方法的基础上，提出了一套更完善、实时性和鲁棒性更优的基于全局运动补偿的解决方案。该方法建立了摄像机全局运动参数模型，通过背景补偿将动态背景下的检测问题转化为在静态背景下的检测问题。
1 动态背景下的多目标检测
    目前在动态背景下解决目标检测的问题主要有两大思路：(1)根据基于目标模板特征的方法。这种方法背景是否运动对其影响不是很大，但是在目标特征不明显的情况下难以做到准确地提取目标;(2)基于背景补偿的方法。通过全局运动估计得到的全局运动参数估算摄像机运动模型，在进行差分图像提取目标前进行背景补偿，消除全局运动带来的影响[3]。本文采用基于全局运动补偿的方法实现目标检测。
1.1 全局运动估计
    全局运动估计是指对视频序列中造成背景运动的摄像机运动进行估计，其目的是要从视频序列中找出造成全局运动的摄像机运动的规律，从而将动态序列间的背景对准消除，检测出前景目标[4]。
    图1为本文动态背景下基于全局运动补偿的运动目标检测的流程图。

    首先通过全局运动估计和补偿将相邻帧间背景对准，再通过帧间差分消除动态背景，最后对差分图像进行二值化以及一系列后处理从而获取前景运动目标。
1.1.1 常用的摄像机运动模型[5]
    如图2所示，摄像机把三维空间点(X,Y,Z)映射到二维空间平面点(x,y)上。图像平面与Z轴垂直，中心坐标为(0,0,f)(f表示摄像机的焦距)。

    在笛卡尔坐标系里，如果三维场景中的物体的运动为
1.1.3 递归最小二乘法计算全局运动参数
    为了消除匹配不精确的宏块所得到的光流场的影响，需要对参数估计进行递归计算，将得到的六个参数重新计算各个宏块的光流场，并与宏块匹配算法得到的光流场进行比较，将光流计算误差较大的宏块进行剔除[6]。利用剩余的宏块重新估计全局运动参数,如果递归反复，则直到(a1,a2,a3,a4,a5,a6)收敛至一个稳定的结果。
1.2 图像剪裁、纹理提取与宏块预判
    为了提高运动估计的鲁棒性，本文采用了基于宏块匹配的方法计算参数。把分辨率为320×240的K+1帧图像分为20×15个宏块，对第K帧进行匹配。分割宏块后的图像如图3所示。

    为了提高运动估计的实时性，本文从以下几个方面进行了优化。
1.2.1 图像剪裁
    当摄像机运动时，相邻帧的背景不重合，由图4所示第K+1帧和第K帧图像的位置关系，第K帧中的S1区域背景在第K+1帧中消失，而第K+1帧中出现新背景S2，由于背景运动在各个方向上都有可能发生，假设相邻帧的运动范围不超过L1（>L2），以图4中所示，样本宏块只需在S3区域中选取，而不必全屏宏块匹配，以缩小计算量。

1.2.2 纹理提取与宏块预判
    运用递归最小二乘法估计全局运动时，光流计算不准确的宏块不参与最终的参数估计，但在计算光流场时，却花费了相当一部分的时间来匹配计算光流。而本文在计算光流场之前已提前剔除可能导致不准确光流估计的宏块，因此，很大程度上降低了计算量，增加了全局运动估计的实时性。
    图5是原图像和canny算子纹理提取后结果。图像纹理提取后，对每个宏块进行预分析，通过设定阈值，剔除可能导致不准确光流估计的宏块，只留下纹理信息量较多的宏块参与光流估计。

    图6为宏块预判后的实验结果，归一化后阈值T取值为0.2，其分辨率为320×240,4个边缘各去除掉10个像素后,将图像分为20×15个宏块,每个宏块尺寸为15×15。
    宏块预判后，宏块数量得到减少，由原来的300个宏块减少为105个，约占原来总宏块数的35%。
1.3 宏块匹配与九点十字搜索法
1.3.1 宏块匹配
    宏块模板匹配法原理图如图7所示。宏块模板匹配法以一个目标图像为模板，用目标模板与待匹配图像的各个子区域图像进行一定的匹配准则计算，找到和目标模板最相似的子图像位置[7]。本文即从图4的S3区域里找出宏块预判后保留的宏块与其最佳匹配块之间的相对位移，即为该宏块的运动向量，参与后续的全局运动估计的计算,S3即为匹配相关区域。

   衡量两图像块间相似性的准则称为匹配准则。匹配准则的好坏直接影响到搜索过程的复杂性以及运动向量估计的精确性。其中均方误差定义准则为：
 
    MSE利用差值的平方，可以放大微小差别，本文采用的就是MSE匹配准则。
1.3.2九点十字搜索法
    在进行宏块匹配时，利用宏块在待匹配图像上的搜索区域内滑动，每滑动一次就进行一次匹配计算，以找到最佳匹配。这种方法被称为全搜索法，精确度高，但计算量大，是一个相当耗时的过程。
    近年来，出现了很多种快速的搜索算法代替全搜索法，比较常用的有:三步搜索法、对数搜索法、钻石搜索法和一些相应的改进算法。这些快速搜索法在候选的运动矢量位置的预定子集上评测准则函数，检测点数目会大大少于全搜索法[8]。
    本文结合三步搜索法和钻石搜索法各自的优点提出了一种九点十字搜索法(E3SS),如图8所示。搜索窗宽度为5，即搜索范围是(i±5,j±5)。

    (1)搜索模板上的9个检测点,如果最小块误差MBD
(Minimum Block Distortion)点(MSE值最小的点)，在搜索窗口的中心则算法结束。
    (2)如果MBD点位于中心点的4个相邻点中，移动十字小模板到上一步的MBD点，继续搜索十字小模板中其他点，直到MBD点是十字中心的点或者十字小模板到达搜索窗口边缘为止。如图9(a)所示，点(0，-1)是第一步的MBD点，也是第二阶段的MBD点，且位于搜索窗中心，故最终运动矢量就是(0，-1)。图9中每个点上的数字表示不同阶段搜索时的检测点。

    (3)如果MBD点是大十字中的4点之一，搜索方法同三步搜索法类似，即将步长减半，中心点移到上一步的MBD点，重新在周围距离步长的4个点处进行块匹配计算并比较。重复此步骤，直到步长为1，该点所在位置即对应最优运动矢量。如图9(b)所示，(0，4)是第一步的MBD点，然后以(0，4)为中心点进行第二步搜索，此时搜索半径已经缩减为2像素，最后以当前MBD点(-2，4)完成第三步搜索，找到最优匹配点。
    利用预测帧的峰值信噪比PSNR来度量搜索的准确性，同时选取多个不同性质的序列图像来检测算法的稳定性，选取全搜索算法FS、菱形搜索算法DS,以对比九点十字算法的各项性能，其结果如表1所示。

    从表1可以看出，相对FS和DS算法，九点十字算法(E3SS)在时间上的优势非常大,在提高了搜索速度的同时也保证了搜索精度，其精度除了比FS算法略低外，比目前流行的DS算法都有细微程度的提高。

 
    双线性内插值法计算量大,但缩放后图像质量高，不会出现像素值不连续的情况。
1.5 运动目标区域提取[9]
    此时得到的K的补偿帧Kcomp与帧K+1的背景基本对准，对所得图像进行非线性平滑滤波消除噪声，然后通过进行帧间差分即可消除背景获得前景运动区域。但图中除了运动目标之后,还存在一些小面积的干扰区域以及一些小面积的空洞。本文先对二值化后的图像进行区域标记，对二值图像的每个不同的连通域进行不同的编号，通过对各个区域中像素个数的计算获得各个区域的面积。将面积小于设定阈值的区域剔除。对得到的二值图像先进行膨胀运算再进行腐蚀运算，从而获得运动目标的完整轮廓和区域，最终检测出目标。
2 实验结果
    图10为在原图像上的检测结果，从中可以看出，其中一个人体目标由于只有头部和腿部动作比较明显而被检测出来，被分成了两个目标，但是可以在跟踪过程中通过对目标的颜色特征和运动特性的分析和处理，区别目标，并将本为同一目标的部分合成(由于跟踪过程不是本文重点，在此处就不再鳌述)。图11所示为最终的检测结果。

    本文深入研究了动态背景下对多目标检测的一种有效方法。基于全局运动补偿消除了背景运动对目标检测的影响，在宏块匹配时提出了九点十字搜索法增强了检测的实时性，通过处理后的结果可以看出，整套算法是行之有效的，并且有很强的鲁棒性，为后续跟踪过程奠定了良好的基础。
参考文献
[1] 贾桂敏.基于物体局部信息的跟踪算法研究[D]. 天津：天津大学精密仪器与光电子工程学院,2008.
[2] 王研.动态背景下目标跟踪若干技术问题的研究[D].天津：天津大学精密仪器与光电子工程学院,2007.
[3] BEYMER D，MCLAUCHLAN P F，COIFMAN B，et al. A real-time computer vision system for measuring traffic parameters[C]. In Proceeding. of the IEEE Conference. on  Computer     Vision and Pattern Recognition，1997.
[4] HEUER J， KAUP A. Global motion estimation in image sequences using robust motion vector field segmentation[C]. In：Proceeding of the 7th ACM International conference on   ultimedia，Sydney，Australia，1999.
[5] 吴思.视频运动信息分析技术研究[D].沈阳：中国科学院计算技术研究所,2005.
[6]  张竟.动态图像序列中运动目标检测若干技术问题的研究[D].天津：天津大学精密仪器与光电子工程学院，2007.
[7]  陈敏慎.运动目标物体实时追踪图像匹配法的研究[D].哈尔滨：哈尔滨工业大学,2003.
[8]  刘海华.双十字搜索算法的快速块匹配运动估计[J].计算机研究与发展,2006,43(9)：1666-1673.
[9]  刘文耀.光电图像处理[M].北京：电子工业出版社,2002:122-355.