1 引言

图像融合是将取自同一区域的不同光谱与空间细节信息的两幅或多幅图像通过一定的算法融合到单幅图像中^[1]。红外图像依据物体的热辐射特性成像,虽然它可以突出目标信息,但其主要呈现的是场景的概貌。可见光图像根据物体的光谱反射特性成像,可准确地展现边缘、纹理细节,并能捕获到图像的背景信息,但其易受照明、气候等外部因素影响。红外与可见光图像融合可综合地利用红外图像与可见光图像背景细节清晰的互补特性,在多源信息挖掘、大数据分析、地质资源勘探等领域有着重要应用^[2]。

图像融合方法主要可划分为基于空间域和基于变换域两类方法。基于变换域的图像融合方法当前受到的关注较多,这类方法大多是基于拉普拉斯金字塔(LP)变换、主成分分析(PCA)变换、小波(WT)变换、Contourlet变换等多尺度分解的融合方法^[3-5]。其中,基于小波变换的方法是较为典型的多尺度分解融合方法。而小波变换受方向数的限制无法更稀疏地表示图像的边缘、纹理细节信息。为此,人们相继提出了Contourlet变换、非下采样Contourlet变换(NSCT)^[6]、Shearlet变换^[7]等更稀疏的信号表示方法。Shearlet变换作为一种高维信号稀疏表示方法,能更有效地捕获图像的细节信息。非下采样Shearlet变换(NSST)^[8]由Shearlet变换改进而来,且具备移不变性。吴一全等^[9-10]证实了其融合结果比其他多尺度分解融合方法包含更多的细节信息。图像融合中,NSST变换虽可较好地实现源图像的多尺度分解与重建,但如何设计融合规则对融合效果也甚为关键。郭明等^[11]先分割红外图像以提取目标区域,再采用替代法融合低频分量,所得融合图像目标较为突出,但目标区域不够准确,含有一些非目标区域和噪声点。高颖等^[12]结合区域生长法与Canny算子,提取的目标较为完整、准确,但未充分发掘可见光图像隐藏的背景细节。邢素霞等^[13]依据Renyi熵分割出目标区域,并在NSCT域对可见光图像进行自适应增强,但其存在对图像细节过增强和噪声放大的问题,导致融合图像某些区域过亮,掩盖了一些细节。Kong等^[14]提出了基于NSCT变换的图像融合方法,避免了伪Gibbs现象,在捕捉背景信息方面表现较好,但目标不够突出,融合图像的对比度低。

本文针对以往融合方法在光线昏暗、背景和目标灰度相近时,融合图像易出现背景细节信息没有充分发掘和目标不够准确、突出的问题,提出了一种基于目标提取与引导滤波增强的红外与可见光图像融合方法。首先依据二维Tsallis熵和基于图的视觉显著性(GBVS)模型提取红外图像中的目标区域;然后分别对红外和可见光图像进行NSST变换,并对两幅源图像的低频分量进行引导滤波增强,融合图像的低频分量目标区域系数选自增强后的红外图像目标区域的低频分量,而非目标区域系数选自增强后的可见光图像对应区域的低频分量;融合图像的高频分量采用方向子带信息和取大的方法选取融合系数。最后,将本文方法与基于LP变换、基于WT、基于平稳小波变换(SWT)、基于NSCT变换^[15]、基于目标提取与NSCT变换^[13]等5种融合方法的实验结果进行了比较,验证了本文方法的优越性。

2 非下采样Shearlet变换

Shearlet变换是一种新的多尺度分解方法,可通过对基本函数的一系列仿射变换生成基函数。当维数等于2时,根据能量有限函数生成的合成膨胀仿射系统形式为

MAB(ψ)={ψj,l,k(x)=|detA|j2ψ(BlAjx-k) j,l∈Z,k∈Z2},(1)

式中ψ∈L²(ℝ);A和B为2×2的可逆矩阵。j为分解尺度,l表示方向数,k为平移。若∀f∈L²(ℝ²),满足 ∑j,l,k<f,ψj,l,k>=‖f‖²,则M_AB(ψ)的元素称为合成小波。Shearlet是合成小波的特例,矩阵A为膨胀矩阵,A=A₀= 4002;矩阵B为剪切矩阵,B=B₀= 1101。

相较于Shearlet变换,NSST具有移不变性,能够更准确地捕获图像中的纹理、边缘、细节信息。NSST变换包括多尺度分解和方向局部化两部分,具体步骤如下:1)采用非下采样金字塔分解源图像,获得低频、高频分量;2)高频分量的方向局部化则通过改进的剪切滤波器实现。它能够将Shearlet中的标准剪切滤波器从Pseudo-Polar坐标系映射到Cartesian坐标系,免去了降采样操作,使得NSST分解后图像尺寸不变;最后,通过傅里叶逆变换进行二维卷积,得到NSST系数。

3 基于Tsallis灰度熵和GBVS模型的红外图像目标提取

3.1 基于二维Tsallis灰度熵的红外图像分割

红外图像依据热辐射进行成像,具有良好的目标指向性。首先采用二维Tsallis灰度熵^[16]对红外图像进行阈值分割实现目标的粗提取。然而使用二维Tsallis熵对红外图像进行分割提取出来的区域不仅包括目标区域,还包括一些背景区域和孤立的噪声点等非目标区域,如图1所示。故进一步结合基于视觉注意机制的模型剔除非目标区域,更精确地提取目标区域。

图 1. 基于二维Tsallis灰度熵的分割结果

Fig. 1. Segmentation result based on two-dimensional Tsallis gray entropy

下载图片 查看所有图片

3.2 基于GBVS模型的红外图像目标提取

给定一幅图像,视觉注意模型根据特定显著度衡量方法提取图像中的显著性区域。GBVS模型^[17]是对经典视觉注意模型Itti的改进。该模型首先使用高斯金字塔低通滤波器组和Gabor金字塔滤波器组对源图像进行滤波,分别得到多尺度下的亮度特征图和方向特征图。GBVS显著度衡量方法如下:特征图M_F中每个像素点视作图论中图的一个节点,将该节点与其他节点相连。定义特征图M_F中节点(i,j)和节点(p,q)之间的差异度为

d[(i,j),(p,q)]=-lgMF(i,j)MF(p,q),(2)

式中M_F(i,j)、M_F(p,q)分别为特征图中(i,j)、(p,q)处的值。从点(i,j)到点(p,q)的有向边被赋予权重:

w1[(i,j),(p,q)]=d[(i,j),(p,q)]·F(i-p,j-q),(3)

式中F(a,b)=exp -a2+b22σ2,σ为可调参数。因为反向边也有相同的权重,故将由同一个节点发散出的边的权重归一化,并把节点看作状态,边的权重则视为转移概率,构建马尔科夫链。马尔科夫链平衡分布反映出不断行走的随机游走者经过每个节点(状态)停留的时间间隔,因为其经过与周围节点差异度高的节点的可能性更大,这些节点的平衡分布值自然就会较高。平衡分布状态图就可作为图像的显著图S_A,之后将S_A归一化。计算各通道的尺度归一化显著图,经叠加后得到综合显著图S。S的大小与原始图像一致,其值则反映原始图像中对应像素处的显著值。因此,可选择合适的阈值对综合显著图进行阈值分割以提取目标。提出的使用自适应阈值T对其进行分割,即

T=3WH∑x=0W-1∑y=0H-1S(x,y),(4)

式中S(x,y)是像素(x,y)处的显著值;W和H分别表示图像的宽度和高度。阈值分割后得到的白色区域为经过上述GBVS模型提取出的包含目标的近似椭圆形区域,这一区域的边缘并非实际目标的边缘,如图2(a)所示。基于二维Tsallis熵提取出来的边缘是自然的边缘但包含非目标的边缘,故将基于二维Tsallis熵分割所得二值图像和基于GBVS分割所得二值图像取交集,从而得到最终更精确的实际目标区域,如图2(b)所示。

图 2. 精确目标提取示意图。(a)显著图阈值分割结果;(b)最终提取的目标区域

Fig. 2. Schematic of accurate target extraction. (a) Threshold segmentation result of significant map; (b) final extracted target region

下载图片 查看所有图片

4 NSST域低频分量及高频分量的融合

红外图像反映热目标信息,可见光图像体现场景的背景细节信息。图像融合的最终目的是使目标突出、背景细节清晰,故在图像融合前对红外图像进行了目标提取。在此基础上,将红外图像与可见光图像分别进行NSST变换,得到各自对应的低频分量与高频分量;然后对低频分量的目标区域、背景区域分别进行融合,高频分量则根据方向子带信息和取大来确定;最后进行NSST反变换得到红外与可见光融合图像。

4.1 基于引导滤波增强与目标提取的NSST域低频分量融合

一般来说,低频分量包含图像的绝大部分能量。可见光图像具有背景信息丰富的特点,但其对比度往往不高,隐藏了较多细节信息,因此对可见光图像进行增强可有效发掘其细节特征。与此同时,对红外图像进行增强可突出热目标信息,使其能够在背景增强的前提下保持目标与背景的对比度。引导滤波^[18]作为一种新型的图像滤波算法,在滤掉噪声的同时,能更好地保护图像边缘。为了增强可见光图像中的细节信息、突出红外图像的热目标,在图像融合前分别对可见光图像和红外图像进行引导滤波增强。引导滤波增强算法的原理是源图像与其经引导滤波后输出的图像相减得到细节图像,将此细节图像与滤波后图像经加权得到增强图像。若在空域上直接采用引导滤波增强算法增强图像,较易引起图像噪声放大,且考虑到绝大部分噪声集中在图像的高频分量,故仅对两幅源图像NSST域的低频分量利用引导滤波进行增强。

令待滤波图像为p,引导图像和滤波输出图像q是局部线性变换关系。在以像素点k为中心、大小为(2r+1)×(2r+1)的局部方形窗口w_k中,

qi=akIi+bk,∀i∈wk,(5)

式中q_i代表像素点i的滤波输出,I_i表示引导图像中像素i的值,w_k中的线性系数a_k、b_k为常系数。为求出a_k和b_k,需要对待滤波图像p施加约束条件。滤波输出图像q可视作输入图像p去除了一些噪声n_i,即

qi=pi-ni,(6)

约束条件为在满足(5)式线性变换关系的同时,最小化输入输出图像之间差的平方为

E(ak,bk)=∑i∈wk(akIi+bk-pi)2+εak2],(7)

式中ε是正则化参数,用以防止出现较大的a_k。系数a_k、b_k可按下式求出:

ak=1nW∑i∈wkIipi-μkp-kσk2+ε,(8)bk=p-k-akμk,(9)

式中μ_k和 σk2分别为引导图像I在窗口w_k中的均值和方差;n_W为窗口w_k中的像素总数; p-k=(1/n_W) ∑i∈wkp_i是输入图像p在w_k中的均值。求出a_k、b_k后,q_i可通过(10)式计算。然而像素点i被所有包含i的重叠窗口同时覆盖,故在每个窗口中求出的q_i值并不唯一,于是通过求均值获得最终的q_i值为

qi=(1/nW)∑k|i∈wk(akIi+bk),(10)

将 ∑k|i∈wka_k=∑k∈wia_k, ∑k|i∈wkb_k=∑k∈wib_k代入(10)式,得:

qi=a-iIi+b-i,(11)

式中 a-i=(1/n_W) ∑k∈wia_k, b-i=(1/n_W) ∑k∈wib_k为所有包含像素点i的窗口中常系数均值。对源图像进行引导滤波后,通过(12)式得到增强图像为

E=(p-q)×λ+q,(12)

式中λ是增强因子,其值越大,图像中的细节越清晰,但同时噪声也会被放大。通过大量实验将λ设为1.7-􀅼/255,􀅼为可见光图像的全局灰度均值。

鉴于红外图像主要反映目标信息,而可见光图像的背景信息相对更为丰富,利用二维Tsallis熵和GBVS模型对红外图像进行目标提取,得到目标区域和背景区域。并分别对可见光图像及红外图像NSST域上的低频分量进行引导滤波增强,以发掘更多背景细节、凸显目标和保持目标与背景的对比度。融合后图像低频分量的目标区域系数选自增强后红外图像目标区域低频分量,背景区域系数选择对应区域的增强后可见光图像低频分量,这样得到的融合图像低频分量可以完整地保留红外图像的显著目标和可见光图像的背景细节。

4.2 基于方向子带信息和的NSST域高频分量融合

图像经NSST分解得到的高频分量反映了图像的细节信息。对高频分量的处理直接影响了融合图像的清晰程度以及边缘细节信息的保持程度。NSST系数模值大的地方,说明该处存在明显的细节。由于高频带通分量的稀疏性,显著特征在同一尺度所有方向子带上系数模值都较大,而其他非显著特征系数模值接近于零。所以,根据每个像素同一尺度上的方向子带信息足以区分并提取该像素上的细节。此外,高频分量数据量较大,基于区域特征的融合规则所需时间较长,而所提出的高频融合规则既可较好地融合可见光图像与红外图像互补的边缘及纹理细节,又可加快高频分量的融合速度。源图像在尺度l上的方向子带信息和为

Cl(x,y)=∑1≤k≤2nCk,l(i,j),(13)

式中2ⁿ为尺度l上的高频方向子带数。据此,对高频分量采用如下融合规则进行融合。若红外图像H在尺度l上像素(i,j)位置处的方向子带信息和 CHl(i,j)大于或等于可见光图像V的方向子带信息和 CVl(i,j),那么将红外图像H在尺度l上像素位置(i,j)处的高频分量系数作为融合图像在相应位置上的NSST高频分量系数。反之,则选择可见光图像V在尺度l上像素位置(i,j)处的高频分量系数作为融合图像相应位置的NSST域高频分量系数。

4.3 本文融合方法的流程图及具体步骤

基于目标提取与引导滤波增强的红外与可见光图像融合方法的流程如图3所示。

图 3. 本文融合方法流程图

Fig. 3. Flow chart of the proposed fusion method

下载图片 查看所有图片

融合方法的具体步骤如下:

1) 对红外图像通过二维Tsallis熵和基于GBVS的视觉注意模型提取目标区域;

2) 对红外图像及可见光图像分别进行NSST分解;

3) 对于两幅源图像NSST域的低频分量和高频分量,使用不同的融合规则进行处理:先进行引导滤波增强,对增强后的低频分量采用基于引导滤波增强与目标提取的融合规则进行融合,而高频分量利用方向子带信息和取大的方法进行融合;

4) 对处理后的低频分量和高频分量进行NSST逆变换,获得最终的融合结果。

5 实验结果与分析

为了验证本文方法的有效性,针对大量红外图像和可见光图像进行了融合实验,并与基于LP变换、基于WT、基于SWT、基于NSCT^[15]和文献[ 13]中基于目标提取与NSCT变换等5种方法的融合结果进行了比较。其中,WT方法、SWT方法的小波基函数为“bior3.7”,分解层数为2。为了更为合理地比较融合结果,对前3种方法,即LP方法、WT方法、SWT方法均采用常用的低频求平均、高频取大的融合规则。其中的实验图像均来源于常用红外与可见光图像融合测试数据集“UN Camp”。由于篇幅限制,现以3组大小均为256×256且已进行过配准的红外图像和可见光图像融合为例进行说明。图4给出了3组红外图像和可见光图像,第1组的可见光图像中目标人物与背景的灰度值相近,很难看出有人物存在;第2组可见光图在光照不足的环境下拍摄,处于黑暗中的人无法很好地识别出来;第3幅可见光图像中的目标由于被花草遮挡,几乎完全看不见。从图4可以看出,3幅红外图像的目标都较为明显,而可见光图像包括了不同景物的边缘细节,如何有效地保留红外图像和可见光图像中有用信息将直接影响到融合后图像效果的好坏。图5是分别采用本文方法和文献[ 13]方法提取的红外图像目标区域,为了清楚地显示细节,对尺寸进行了调整。图6~8分别给出了针对上述两组图像利用6种融合方法的实验结果。实验参数设置如下:NSST中,采用“maxflat”滤波器进行多尺度分解,分解层数为3,各层带通方向子带数目取[2,2,2]。实验运行环境:中央处理器为Intel core i3、2.1 GHz,内存为2G的PC机,32位Win7操作系统,Matlab版本为Matlab7.11.0.(R2010b)。

图 4. 3组可见光图像和红外图像。(a)第1组可见光图像;(b)第1组红外图像;(c)第2组可见光图像;(d)第2组红外图像;(e)第3组可见光图像;(f)第3组红外图像

Fig. 4. Three groups of visible images and infrared images. (a) Visible image of group 1; (b) infrared image of group 1; (c) visible image of group 2; (d) infrared image of group 2; (e) visible image of group 3; (f) infrared image of group 3

下载图片 查看所有图片

图 5. 本文方法和文献[ 13]方法从2幅红外图像中提取的目标。(a)本文方法从图4(b)提取的目标;(b)本文方法从图4(d)提取的目标;(c)本文方法从图4(f)提取的目标;(d)文献[ 13]方法从图4(b)提取的目标;(e)文献[ 13]方法从图4(d)提取的目标;(f)文献[ 13]方法从图4(f)提取的目标

Fig. 5. Targets extracted from two infrared images by the proposed method and the method in Ref. [13]. (a) Targets extracted from the Fig. 4(b) by the proposed method; (b) targets extracted from the Fig. 4(d) by the proposed method; (c) targets extracted from the Fig. 4(f) by the proposed method; (d) targets extracted from the Fig. 4(b) by the method in Ref. [13]; (e) targets extracted from the Fig. 4(d) by the method in Ref. [13] ; (f) targets extracted from the Fig. 4(f) by the method in Ref. [13]

下载图片 查看所有图片

从图5可以看出,本文方法提取的目标区域完整、准确,且不包含某些背景区域或者孤立的噪声点,而文献[ 13]提取的目标区域不够准确,包含一些背景区域或者孤立的微小噪声点。从图6~8的主观视觉效果上来看,本文方法的融合图像充分反映了预先进行目标提取所起的作用,无论从热目标的显著程度还是在图像背景细节表现方面均明显优于其他5种融合方法,图像对比度、清晰度高。LP方法所得融合图像的地物轮廓较模糊、对比度不高、目标也不太明显;WT方法所得融合图像中引入了较明显的虚影,景像不自然,图像

图 6. 第1组图像的融合结果。 (a) LP方法;(b) WT方法;(c) SWT方法;(d) NSCT方法;(e)文献[ 13]方法;(f)本文方法

Fig. 6. Fusion results on the images of group 1. (a) LP method; (b) WT method; (c) SWT method;(d) NSCT method; (e) method in Ref. [13]; (f) proposed method

下载图片 查看所有图片

图 7. 第2组图像的融合结果。 (a) LP方法;(b) WT方法;(c) SWT方法;(d) NSCT方法;(e)文献[ 13]方法;(f)本文方法

Fig. 7. Fusion results on the images of group 2. (a) LP method; (b) WT method; (c) SWT method;(d) NSCT method; (e) method in Ref. [13]; (f) proposed method

下载图片 查看所有图片

左下部树叶与中部灌木丛处的纹理细节较模糊;SWT方法所得融合图像的边缘较模糊,目标与背景对比度不强、目标不清晰;NSCT方法较好地保留了可见光图像的地物轮廓,但仍存在图像对比度不高、背景较模糊的问题。与前面4种方法相比,文献[ 13]方法所得融合图像对比度有所提高,包含的细节信息也更丰富,但图6(e)中因为提取的目标不够准确导致图像左下角屋檐处存在严重的不连续性失真现象,同时目标有所缺失,如图6(e)中的人物脚部没有提取出来。且部分区域存在过增强的现象,导致某些背景和目标区域过亮,一些细节被掩盖,如图8(e)的部分区域。而本文方法所得融合图像视觉效果较好,人物目标提取完整、准确,且较为明显;如图6(f)左下角的树叶与屋顶处的纹理细节更为连续、清晰。图像对比度高,更好地保留了源图像中地物的轮廓、纹理信息,虚影也得到了较好的抑制。

图 8. 第3组图像的融合结果。 (a) LP方法;(b) WT方法;(c) SWT方法;(d) NSCT方法;(e)文献[ 13]方法;(f)本文方法

Fig. 8. Fusion results on the images of group 3. (a) LP method; (b) WT method; (c) SWT method; (d) NSCT method; (e) method in Ref. [13]; (f) proposed method

下载图片 查看所有图片

为了进一步对上述6种不同融合方法所得到的实验结果进行客观定量评价,选取信息熵、平均梯度、相关系数、空间频率、扭曲度和标准差等作为客观定量评价指标^[19]。信息熵用来衡量图像所包含的信息量,其值越大,融合图像所含的信息越多;平均梯度可以反映图像微小细节反差及纹理变化,用来评价图像的清晰度,其值越高,图像越清晰;相关系数反映了融合图像与可见光图像的相关程度,其值越大,则融合图像保持可见光图像的结构信息越好;空间频率是反映图像的总体活跃程度,其值越大,图像越活跃;扭曲度反映了图像的失真程度,其值越小,则说明图像失真越轻微;标准差反映了图像灰度相对于灰度平均值的离散情况,图像的标准差越大,则图像的灰度级越分散,图像反差越大,所含的信息更丰富。表1给出了上述6种融合方法的6个客观指标定量评价结果。

从表1中可以看出,本文方法的6个定量评价指标中,除了平均梯度略低于NSCT方法或者WT方法,其他所有5个指标都高于另外5种方法,尤其在信息熵、相关系数、标准差、扭曲度这4个指标上都明显优于其他5种方法,表明边缘保持度高、图像细节信息较为丰富。这说明本文融合方法的综合性能最佳,与主观视觉效果相符。值得一提的是,本文方法融合图像的扭曲度相对其他方法明显低得多,而文献[ 13]方法的扭曲度明显较高,说明引导滤波对可见光图像进行细节增强的同时,有效保护了源可见光图像的有用信息,而文献[ 13]中的增强方法在对图像增强的同时无法保留好可见光图像的有用信息。NSST能够更稀疏地表示图像,低频分量采用基于引导滤波增强与目标提取的融合规则进行融合,高频分量利用方向子带信息和取大的规则加以融合,使得最终的融合图像能够更加突出热目标和增强背景的边缘、纹理细节特征,融合效果最好。综合来看,本文方法无论在主观视觉效果还是客观定量评价指标上,都要优于其他5种方法。

6 结论

提出了一种基于目标提取与引导滤波增强的红外与可见光图像融合方法。该方法充分利用了NSST的多分辨率分析等性质,通过目标提取与引导滤波增强算法处理原始红外图像与可见光图像,从而对经NSST分解后的高低频分量设计不同的融合规则,更好地完成了红外和可见光图像的融合。大量实验结果表明,该图像融合方法在主观视觉效果和客观定量评价指标上均优于基于LP变换、基于WT变换、基于SWT变换、基于NSCT变换、基于目标提取与NSCT变换等方法,不仅能够有效突出目标,而且发掘了更多背景细节信息,是一种行之有效的红外和可见光图像融合方法。