基于邻域匹配度和能量的curvelet变换融合

提出一种基于邻域匹配度和能量加权平均的多源遥感图像曲波变换融合方法。对低分辨率的多光谱图像和高分辨率的全色图像作曲波变换，融合图像的曲渡系数中的低频分量取自多光谱图像的低频分量。求两幅图像高频系数邻域内的匹配度，与阈值相比较，根据比较结果分别采用不同方法确定高频系数。对生成系数进行逆曲波变换后得到融合图像。实验表明融合后的图像清晰度和光谱性得到有效提高。
曲波变换能够有效地描述具有曲线或超平面奇异性的高维信号。对一幅图像进行N尺度曲波变换后，第一层是低频系数，表示图像的轮廓信息；第N层是高频系数，体现图像的细节和边缘特征。2～N-1层是中高频系数层，包含着图像元素的边缘特征，具备多方向性。遥感图像的曲波变换融合一般采取基于像素的融合规则：粗尺度系数采用多光谱图像的粗尺度系数，细尺度系数采用多光谱图像和全色图象变换系数模值较大的细尺度系数。在设计融合规则时要基于邻域，考察邻域内的统计特性，可有效提高融合质量。

1 基于曲波变换的融合方法
Curvelet继承和发展了小波分析优良的空域和频域局部特性，是一个新的多尺度变换分析工具，其相对于小波的优势在于更加适合描述图像的几何特征，更适合提取图像的细节信息。这是因为小波采用的是“块基”(block base)，在逼近边缘时常常会产生环绕现象，模糊了边缘：而curvelet采用的是“楔形基”逼近，与小波最大的差异就是具有任意角度的方向性，不像小波只具有水平、垂直、对角线3个方向，所以是各向异性的。在楔形分块中，只有当逼近基与奇异性特征重叠，即其方向与奇异性特征的几何形状匹配时，才具有较大的curvelet系数。此外，curvelet较之小波具有更好的稀疏表达能力，它能将图像的边缘，如曲线、直线特征用较少的大的curvelet变换系数表示，克服了小波变换中传播重要特征到多个尺度上的缺点，变换后能量更加集中，更利于跟踪和分析图像的重要特征。因此，将curvelet变换引入图像融合，可以利用eurvelet分析更好地提取原始图像的特征，为融合图像提供更多的信息。
融合的基本步骤为：
1)对源图像分别进行曲波变换，得到不同分辨率层次下的曲波系数，包括coarse层、detail层和fine层；
2)根据融合应用目的的不同，对不同尺度层采用不同的融合规则进行处理。针对遥感图像的曲波变换融合一般采取的融合规则为：粗尺度系数采用多光谱图像的粗尺度系数，细尺度系数采用模值绝对值大的细尺度系数；
3)对融合的各层曲波系数进行曲波逆变换得到融合图像。
融合流程如图1所示。

步骤2中融合方式是基于单像素的融合方式。多源遥感图像不同波段的多光谱图像成像方式不同，光谱特征差别大，相关性差，精确配准难度高。基于单像素的融合方式没有考虑区域信息，不适宜应用在具备上述特征的多源遥感图像之间的融合，所以在设计融合规则时要基于邻域，考虑区域的统计特性和匹配程度，根据邻域的匹配程度分类高频系数的提取方式，用两幅图像的邻域统计特性确定加权系数。

2 基于邻域能量和匹配度融合规则设计
区域的统计特性主要有能量、方差和梯度等，能量用曲波系数的平方表示，曲波变换后能量主要集中在低频系数上，高频系数的能量随变换层数递减。匹配度表征了不同图像区域的相关程度。文献中直接对像素灰度在邻域内按照匹配度大小进行能量的加权处理，融合得到的图像作为二次融合的图像源。文中将曲波变换引入上述过程，在曲波变换域中考虑邻域的匹配度，根据邻域的匹配程度分别采用不同的高频系数提取方式，在加权处理中用两幅图像的邻域能量确定加权系数。

edatop.com

V(x，y)表示系数矩阵中点(x，y)的值；下标k=M、H or F，M表示多光谱图像，H表示高分辨率图像，F表示融合后图像。在多光谱图像和高分辨率图像曲波变换高频系数矩阵的邻域内定义匹配度：

高分辨率全色图像和低分辨率多光谱图像进行曲波变换融合时，根据匹配度的大小对中心点进行系数值的选取。如果匹配度小于阈值λ，说明两幅图像在该位置空间特性差异较大，因此选择能量较大区域的中心像素为融合图像的像素；如果匹配度大于阈值λ，说明两幅图像有较强的相关性，则进行加权处理。邻域能量较小的高频系数对应的权值：
Kmin=0.5-0.5(1-MC)／(1-λ)
邻域能量较大的高频系数对应的权值：
Kmax=1-Kmin
高频系数的选取规则为：

曲波变换融合中，基于邻域能量和匹配度融合规则设计如下：
1)coarse层即低频系数采用多光谱图像的粗尺度系数；
2)detail层和fine层.即中高频和高频分量采用上述高频系数的选取规则。

3 实验及结果分析
高空间分辨率的全色图像反映了空间结构信息，能够充分描述地物的细节等特征，但频谱分辨率较低，不能较好地描述地物的光谱信息。低空间分辨率的多光谱图像光谱信息丰富，对地物的识别与解释起到重要作用。如果将多光谱图像和全色图像进行融合，则可以在较高地提高多光谱图像清晰度的同时保持其光谱特性，以便改善后续处理效果，满足不同应用需求。本实验数据来自QuickBird卫星，高分辨率图像为其全色波段图像，如图3所示，卫星的RGB 3个波段的多光谱图像合成彩色图像，如图4所示，本节先通过实验考察了阈值?的设置对融合效果的影响，再分别采用本节设计规则与基于单像素的融合规则进行3组融合实验比较。曲波变换层数设置为5层。

如图2所示为阈值λ对融合效果影响曲线图，横轴为λ，取值0.0～1.0，纵轴为相关系数和十分之一清晰度，图中上一条曲线表示相关系数，图中下一条曲线表示清晰度取值的十分之一。从图中可以看出，随着λ的递增，相关系数递减，但变化幅度不大。清晰度曲线在λ=0.3处形成波峰，λ=0.6处形成波谷，变化幅度较大。综合考虑，λ=0.3时清晰度和相关系数均取得较好的值。
对于融合效果的衡量主要考虑两个方面，一是图像的空间细节信息的表现程度，如信息熵、方差和清晰度。另一是图像的光谱特性保持情况，如偏差指数和相关系数等。信息熵表征了图像包含信息的多少。清晰度是指图像的清晰程度，它反映了图像中的微小细节反差和纹理特征变化特征，清晰度越高，说明融合效果越好。偏差指数表示融合图像和源图像的偏离程度，偏差指数越小，说明两幅图像越接近，在多源遥感图像融合中，偏差指数用来比较融合图像与多光谱图像的偏离程度，偏差指数越小，融合图像与多光谱图像之间的偏差就越小，光谱信息得到了更好地保持，融合效果就越好。相关系数用来衡量融合图像与多光谱图像之间的相关程度，相关系数接近于1，说明两幅图像越接近，融合效果越好。

对全色图像分别与多光谱图像进行5层曲波变换融合，采用本节融合规则时?取值0.3。基于单像素的融合规则所得融合图像如图5，文中融合规则所得到的融合图像如图6。融合效果参数如表1所示，与基于单像素融合方式相比，SRGB3个通道的多光谱图像与全色图像的融合图像在信息熵、清晰度和相关系数等方面都得到了提高，偏差指数减小，从参数来看融合效果较好。从目视角度看，图4不如图5清晰，有蒙雾。文中设计的融合规则明显优于基于单像素的融合规则。


4 结束语
文中针对图像在某一特定局部邻域内的像素间往往具有相关性，引入邻域内匹配度的概念，提出了基于曲波变换的邻域匹配度和能量加权平均融合方法、并给出实现方法，实验结果表明本方法在保持光谱特性和提高清晰度方面相比较单一像素融合方式具有优势。