1 引言

随着图像传感器技术的发展,图像融合技术在**、航空、遥感等领域均具有较好的应用前景^[1]。红外与可见光图像融合作为图像融合中的重要分支,因其自身存在的信息互补特性,日渐成为图像融合中的热点问题。

目前,针对红外与可见光图像融合算法的研究比较多,其中基于多尺度分解的方法在图像融合中应用最为广泛。常用的多尺度分解方法包括小波变换(WT)、Contourlet变换、非降采样Contourlet变换(NSCT)等^[2]。但小波变换受限于方向特性,对高度奇异的图像边缘无法给出最优解。Contourlet变换克服了小波在这一方面的缺陷,能够很好地捕捉到图像的边缘信息,但不具备平移不变性,容易使图像产生伪吉布斯现象。 杨立新等^[3]提出的非降采样Contourlet变换可以克服伪吉布斯现象的产生并充分地保留源图像的有效信息,但其计算复杂度较高,不能够应用到图像实时融合场景中^[4]。相对于NSCT,非降采样Shearlet变换(NSST)不仅运算简单,而且对剪切后的方向数没有限制,是在各个方向和各个尺度上对图像的真正稀疏表示,可以在图像融合中取得更好的融合结果。吴一全等^[5-6]将NSST应用于图像融合中,并针对高低频子带各自特性设计相应的融合策略,取得了理想的融合结果。刘健等^[7]采用冗余提升不可分离小波替换NSST中的非降采样金字塔分解,在增强NSST捕获图像细节的能力的同时也提高了其运算效率。吴冬鹏等^[8]分析了NSST高频系数间的关联性和差异性,构造了一种方向性基本一致的改进型NSST变换,可以进一步保留融合图像的细节信息。在图像融合中,选择合适的融合策略同样至关重要。脉冲耦合神经网络 (PCNN)作为一种新型神经网络,因其同步脉冲发放和全局耦合等特性,目前被广泛应用于图像处理中。Ganasala等^[9]采用图像方向梯度特征作为PCNN的链接系数,增强了算法的自适应性。Wang等^[10]则提出了一种双通道PCNN模型,并将其应用于图像融合中。但PCNN存在内部计算复杂、参数较多、迭代次数无法确定等问题。脉冲发放皮层模型(SCM)的提出弥补了PCNN存在的诸多不足。赵杰等^[11]将SCM模型与NSST相结合,有效地抑制了图像在变换域中的像素失真。Kong等^[12]对SCM模型进行进一步改进,使SCM更加适用于图像处理,并取得了较好的融合结果。

本文提出了一种基于改进引导滤波和双通道脉冲发放皮层模型(DCSCM)的红外与可见光图像融合算法,即对源图像进行NSST分解,得到相应的高低频分量。为了充分保留源图像的有用信息,采用改进的引导滤波算法对低频分量进行融合。为了使融合图像更加符合人眼视觉观感,采用DCSCM模型对高频分量进行融合。最后,对融合得到的高低频分量进行NSST逆变换,从而得到最终的融合结果。实验结果表明,本文算法相比其他方法,具备较为明显的优势。

2 引导滤波

引导滤波^[13-15]是一种基于局部线性模型的边缘保持算法,已被广泛应用于图像去雾、抠图等领域。引导滤波利用引导图像指导滤波过程,使得输出图像在保留输入图像整体特征的同时,充分获取引导图像的变化细节。

将输入图像记作P,引导图像记为I,则滤波输出图像O与引导图像I存在线性关系,即

Oi=akIi+bk,∀i∈ωk,(1)

式中ω_k为大小为(2r+1)×(2r+1)的方形窗口,k为窗口内的中心像素点,a_k、b_k是窗口ω_k内的线性系数,其值保持不变。于是,可以通过最小化输出图像O与输入图像P之间的平方差来求解a_k、b_k的值,即

E(ak,bk)=∑i∈ωk(akIi+bk-Pi)2+εak2],(2)

式中ε为自定义给出的正则化参数。根据线性回归分析,可以求得a_k、b_k的最优解为

ak=1ω∑i∈ωkIiPi-μkP-kδk+ε,(3)bk=P-k-akμk,(4)

式中μ_k与δ_k分别为局部窗口ω_k内引导图像I的平均值和方差, ω是窗口内的像素个数, P-k为输入图像的平均值。

考虑到一个像素点会被多个窗口包含,于是对所有情况下的O_i取平均,最终得到

Oi=a-iIi+b-i,(5)

式中 a-i=1ω∑k∈ωiak,b-i=1ω∑k∈ωibk。

3 SCM基本原理与DCSCM模型

3.1 SCM基本原理

PCNN是一种通过模拟猫的视觉系统而构建的神经网络模型,因此PCNN更加符合人眼视觉观感要求^[16]。SCM作为一种改进的PCNN模型,具备参数设置少、计算复杂度低等优势,非常适合应用于图像处理领域。SCM神经元通常由三部分组成:接收域、调制域和脉冲产生域。

在接收域中,SCM神经元通过F_ij和L_ij两个通道接收输入信号,F_ij为神经元的反馈输入,L_ij为链接输入。F_ij与L_ij表达式分别为

Fij[n]=Sij,(6)Lij[n]=VL∑klWijklYkl[n-1],(7)

式中i和j是图像中的像素位置,n表示当前迭代次数,S_ij是外部激励,V_L为幅度增益,k和l是相邻像素的位置,W_ijkl为神经元之间的链接权重,Y_kl[n-1]是上一次的输出结果。

调制域对接收到的输入信号进行调制,产生内部调制结果。接收域与调制域的关系为

Uij[n]=fUij[n-1]+Sij∑klWijklYkl[n-1]+Sij,(8)

式中U_ij表示神经元内部活动项,由F_ij与L_ij按照(8)式相互调制得到,f为U_ij的衰减系数。

SCM神经元的脉冲产生部分为

Eij[n]=gEij[n-1]+hYij[n-1],(9)Yij[n]=1,Uijn≥Eijn0,otherwise,(10)

式中E_ij为动态门限,g和h分别表示阈值衰减和放大系数,Y_ij代表神经元输出结果。(10)式表明,当U_ij满足大于等于E_ij的条件时,Y_ij置为1,此时神经元被激活并产生一个点火脉冲。

3.2 DCSCM模型

SCM模型因其自身特性对图像的细节信息具有很强的表示能力,对图像中的偏暗区域却不够敏感。为了增强SCM对图像中偏暗区域的捕捉能力,本文对SCM模型进行改进,提出了一种双通道SCM模型,改进点如下。

1) 由于之前的内部活动项U_ij[n-1]对当前的U_ij[n]影响较弱,直接将U_ij[n-1]忽略,并改进成双通道形式,得到的内部活动项U_ij为

Uij[n]=max(Uij1[n],Uij2[n]),(11)

式中 Uij1[n]=Sij1∑klWijklYkl[n-1]+Sij1,Uij2[n]=Sij2∑klWijklYkl[n-1]+Sij2。

2) 为了尽可能减少参数设置带来的影响,将动态门限E_ij改进为

Eij[n]=Eij[n-1]-Δ+hYij[n-1],(12)

式中Δ是一个正常数,负责控制动态门限的下降幅度^[17]。

3) 由于传统SCM的输出采用硬限幅函数,不能反映出神经元点火脉冲的幅度差异,将Sigmoid函数作为DCSCM的输出,可以更好地刻画同步脉冲激发时在点火幅度上的差异。DCSCM的输出定义为

Yij[n]=1,1/(1+exp[-(Uij[n]-Eij[n])]≥0.50,otherwise。(13)

DCSCM结构如图1所示。

图 1. DCSCM结构图

Fig. 1. Structure of DCSCM

下载图片 查看所有图片

4 本文融合算法

4.1 融合步骤

本文融合算法的流程如图2所示,具体实现步骤为:1)对红外与可见光图像分别进行NSST分解,得到低频子带L_J(x,y)与高频子带H_j,r(x,y),其中,J为分解层数,j、r代表分解尺度和方向数;2)对分解得到的低频子带采用改进的引导滤波算法进行融合;3)对分解得到的高频子带采用DCSCM模型进行融合;4)将融合得到的低频子带和高频子带进行NSST逆变换,得到最终的融合图像。

图 2. 本文融合算法流程图

Fig. 2. Flow chart of the proposed fusion algorithm

下载图片 查看所有图片

4.2 低频子带融合规则

引导滤波模型具备较好的边缘保持特性。为了更多地保留图像的边缘信息,本文采用文献[ 14]中的引导滤波模型对低频分量进行融合。首先对低频图像进行均值滤波,得到基础图像与细节图像,然后根据图像的显著性、清晰度、标准差信息获取初步融合权重,再采用改进的引导滤波对融合权重进行修正,最后对低频系数进行加权融合,得到融合图像的低频分量。具体步骤如下。

1) 图像分解

对低频图像进行均值滤波得到基础图像。细节图像由低频图像减去基础图像后得到^[13],即

Bn=In*Z,(14)Dn=In-Bn,(15)

式中I_n为第n幅源图像,Z是大小为31×31的均值滤波器,B_n为滤波得到的基础图像,D_n为细节图像。

2) 构建初始融合权重

分别计算待融合图像的显著性、清晰度、标准差信息,得到对应的融合权重矩阵。图像显著性定义为

Sn=Hn*grg,σg,(16)

式中H_n=I_n*L,L为3×3大小的拉普拉斯滤波器,H_n是源图像I_n经滤波得到的滤波图像,g表示大小为(2r_g+1)×(2r_g+1)的高斯低通滤波器,σ_g是标准偏差。则可以根据图像显著性获得其融合权重矩阵P_n,即

Pnk=1,Snk=max(S1k,S2k,…,SNk)0,otherwise,(17)

式中N表示源图像的数量, Snk为第n幅图像中,第k个像素的显著性值。

图像的空间频率反映了图像空间域总体活跃程度,也可以用于表示图像的清晰度。本文采用一种改进的空间频率来表示图像清晰度,可以更加准确地表示图像的清晰度信息。其定义为

FMS=1MN∑i=1M∑j=1N(FR+FC+FMD+FSD),(18)

式中F_R、F_C、F_MD和F_SD分别表示图像的行频率、列频率、主对角频率和副对角频率,分别表示为

FR=[I(i,j)-I(i,j-1)]2FC=[I(i,j)-I(i-1),j]2FMD=[I(i,j)-I(i-1,j-1)]2FSD=[I(i,j)-I(i-1,j+1)]2。(19)

从而可以根据清晰度获得融合权重矩阵V_n,即

Vnk=1,FMSnk=max(FMS1k,FMS2k,…,FMSNk)0,otherwise,(20)

式中 FMSnk为第n幅图像中,第k个像素的清晰度值。

图像的标准差可以表示图像对比度信息,图像标准差越大,对比度越高,其定义为

Ds=1MN∑i=1M∑j=1N(Iij-μ)2,(21)

式中 μ=1MN∑i=1M∑j=1NIij为局部区域内图像的平均灰度值。则可以根据图像标准差获得其融合权重矩阵C_n,即

Cnk=1,Dsnk=max(Ds1k,Ds2k,…,DsNk)0,otherwise,(22)

式中 Dsnk为第n幅图像中,第k个像素的对比度值。

初始融合权重W由显著性、清晰度、对比度融合权重相乘得到^[18],即

W=P×V×C。(23)

3) 融合权值修正

初始融合权重通常包含噪声,并且边缘不够对齐,容易使融合图像产生伪影。采用改进的引导滤波算法对初始融合权值进行修正,得到引导滤波后基础图像和细节图像的融合权重分别为

WBn=Gr1,ε1(Pn,In),(24)WDn=Gr2,ε2(Pn,In),(25)

式中P_n为初始融合权重矩阵,I_n为引导图像。下标r1、ε1与r2、ε2表示引导滤波针对基础图像和细节图像的滤波半径与滤波模糊程度。

4) 低频图像融合

采用加权平均的融合方式分别对基础图像 B-与细节图像 D-,即

B-=∑n=1NWBnBn,(26)D-=∑n=1NWDnDn,(27)

进行融合,融合图像的低频分量F由基础图像与细节图像相加得到,即

F=B-+D-。(28)

4.3 高频子带融合规则

图像高频部分包含了主要的边缘、轮廓等细节信息。为了使融合图像更加符合人眼视觉特性,采用DCSCM模型对NSST高频子带进行融合,并将图像的拉普拉斯能量和信息作为DCSCM模型的反馈输入。为了更好地表示图像的细节信息,采用了一种改进的拉普拉斯能量和(SML)。SML定义为

SMLj,r(x,y)=|2Ij,r(x,y)-Ij,r(x-h,y)-Ij,r(x+h,y)|+|2Ij,r(x,y)-Ij,r(x,y-h)-Ij,r(x,y+h)|+|1.4Ij,r(x,y)-0.7Ij,r(x-h,y-h)-0.7Ij,r(x+h,y+h)|+1.4Ij,r(x,y)-0.7Ij,r(x+h,y-h)-0.7Ij,r(x-h,y+h)|,(29)

式中I(x,y)表示坐标为(x,y)的像素点的灰度值。则高频子带融合规则为

Fj,r(x,y)=Ij,rIR(x,y),U(x,y)=UIR(x,y)Ij,rIV(x,y),U(x,y)=UIV(x,y),(30)

式中F为融合图像的高频分量,U(x,y)表示坐标为(x,y)的神经元内部活动项,I_R为红外图像,I_V为可见光图像。

5 实验与分析

5.1 实验设置

为了验证本文算法的有效性,选取三组红外与可见光图像进行融合实验,图像灰度级均为256,并将本文算法与文献[ 1]、文献[ 10]、文献[ 13]方法进行对比。实验计算机为DELL PRECISION系列,CPU主频为3.20 GHz,内存为8.00 GB,实验环境为MATLAB 2013b。本文NSST分解层数为4层,采用“maxflat”滤波器进行多尺度分解,shear滤波器大小与方向级数分别设置为[30,30,36,36]和[3,3,4,4]。DCSCM模型的幅度增益V_L设置为1,链接权重矩阵W=[0.707,1,0.707;1,0,1;0.707,1,0.707],Δ和阈值放大系数h分别设置为0.1和20,DCSCM模型的迭代次数为10,远远小于常规算法的200次迭代次数。除此之外,采用红外与可见光源图像作为引导滤波的引导图像。由于引导滤波对参数选择的依赖性不大,因此本文采用文献[ 13]中的相关设置,即将引导滤波的相关参数设置为r1=45,ε1=0.3,r2=7,ε2=10^-6。根据文献[ 13]中的相关证明,对大多数图像来说,这样设置参数具有普适性,容易产生较好的融合结果。

5.2 UNcamp图像集实验

UNcamp图像集实验结果如图3所示。图3(a)、(b)分别为红外图像与可见光图像。红外图像提供了清晰的目标信息,但背景信息缺失。可见光图像则提供了灌木、道路、栅栏等丰富的背景信息。图3(c)~(f)分别为NSCT结合分块压缩感知方法、NSCT结合双通道PCNN方法、引导滤波方法和本文方法的融合结果。从视觉评价角度来看,4种方法均能够有效地融合红外图像的目标信息与可见光图像的背景信息。但是仔细观察可以发现,图3(c)视觉观感较佳,但树木、栅栏等背景信息缺失,同时图像左上角丢失了部分红外图像信息。图3(d)整体亮度偏高,背景信息丢失严重,图像噪声点较多,看起来比较粗糙。图3(e)保存了较多的背景信息,但部分区域阴影较多,存在背景不够均匀的现象。图3(f)为本文方法的融合结果,可以看出本文融合图像目标突出,背景信息丰富,图像整体细腻均衡,对比其他算法有较为明显的优势。

图 3. UNcamp图像集与融合结果。(a)红外图像;(b)可见光图像;(c)文献[ 1]方法;(d)文献[ 10]方法;(e)文献[ 13]方法;(f)本文方法

Fig. 3. UNcamp image set and fusion results. (a) Infrared image; (b) visible image; (c) method in Ref. [1]; (d) method in Ref. [10]; (e) method in Ref. [13]; (f) proposed method

下载图片 查看所有图片

为了更加客观地对实验结果进行评价,采用平均梯度、空间频率、图像标准差和信息熵作为客观评价标准。平均梯度可以反映图像微小细节差异以及纹理变化,信息熵则反映了图像信息量大小。从表1中可以看出,本文算法的平均梯度和空间频率要高于文献[ 1]和文献[ 13]算法,但小于文献[ 10]算法,标准差和信息熵相对于其他三种方法有较大提高。为了充分提取图像的细节信息,本文算法选用的NSST分解层数较多,因而在融合速度上表现相对一般。

5.3 其他测试集实验

为了进一步验证本文算法的有效性,选取另外两组图像测试集进行实验对比,实验结果如图4、5所示。从视觉观感上看,图4(c)和图5(c)总体亮度偏高、对比度小,其中图4(c)的远处背景灯光较暗,背景信息不够丰富。图4(d)和图5(d)同样存在亮度偏高的问题,目标与背景对比度不强,其中图5(d)的行人目标边缘不够对齐,且目标相对偏暗,不够清晰。图4(e)和图5(e)存在明显的阴影现象,但背景丰富,信息量较大,视觉观感一般。在这两组测试集中,图4(f)和图5(f)清晰度、对比度较好,亮度适中,并且充分融合了可见光图像的背景信息,总体视觉观感最佳。

图 4. 第一组图像及融合结果。(a)红外图像;(b)可见光图像;(c)文献[ 1]方法;(d)文献[ 10]方法;(e)文献[ 13]方法;(f)本文方法

Fig. 4. First set of images and fusion results. (a) Infrared image; (b) visible image; (c) method in Ref. [1]; (d) method in Ref. [10]; (e) method in Ref. [13]; (f) proposed method

下载图片 查看所有图片

图 5. 第二组图像及融合结果。(a)红外图像;(b)可见光图像;(c)文献[ 1]方法;(d)文献[ 10]方法;(e)文献[ 13]方法;(f)本文方法

Fig. 5. Second set of images and fusion results. (a) Infrared image; (b) visible image; (c) method in Ref. [1]; (d) method in Ref. [10]; (e) method in Ref. [13]; (f) proposed method

下载图片 查看所有图片

图4和图5对应的客观评价结果如表2和表3所示。表2中,针对第一组图像,本文算法的空间频率、平均梯度及标准差要远高于其他算法,图像信息熵相对较高。表3中,针对第二组图像,本文算法表现一般,没能取得最好的实验结果,但平均梯度、空间频率和最优指标比较接近,在标准差与信息熵方面表现较好。总的来说,本文算法在各组实验中表现较为稳定,综合性能最佳,与主观视觉效果相符。

5.4 融合结果分析

本文融合图像的清晰度相对其他方法要高。值得一提的是,文献[ 1]、文献[ 10]方法在图像清晰度方面有时也有不错的表现,但文献[ 1]方法采用局部能量对高频子带进行融合,文献[ 10]方法在低频融合部分单纯采用像素值取大的融合策略。这两种方法均容易引入噪声,造成图像平均梯度值偏高的假象。NSST能够更加稀疏地表示图像,产生较好的融合结果,本文方法采用NSST作为多尺度分解工具,低频部分采用改进的引导滤波算法进行融合,可以有效地保留红外图像的目标信息与可见光图像的背景信息。在引导滤波中引入图像的显著度、空间频率、标准差信息,可以使融合图像具备较好的视觉显著性、清晰度、对比度。DCSCM模型对图像的细节特征具有较强的敏感度,并且能够捕捉到图像的偏暗区域。将DCSCM模型应用到图像高频融合中,不仅能够增强融合图像的边缘、纹理特征,而且可以缓解文献[ 13]方法中引导滤波带来的阴影问题。综上所述,低频部分采用改进的引导滤波算法进行融合,高频部分采用DCSCM模型加以融合,可以使最终的融合图像保留丰富的目标、背景信息和突出细节特征,融合效果最好。

6 结论

提出了一种基于改进引导滤波和DCSCM的红外与可见光图像融合算法,在对红外与可见光源图像进行NSST分解后,采用改进的引导滤波算法对低频分量进行融合。并且,为了使融合图像具备较好的细节信息和视觉观感,采用DCSCM模型对图像高频分量进行融合。实验结果表明,本文方法在图像清晰度、对比度、信息熵等方面表现均好于其他算法,可以应用于森林防火、遥感监测等领域,是一种切实可行的融合方法。