1引言

传统夜视包括微光夜视技术与红外夜视技术,由于其工作原理的制约,传统夜视技术产生的都是灰度图像^[1],仅能依靠图像灰度差别进行目标识别。红外夜视仪得到的图像虽然亮度高,但细节信息缺乏,只有大致的轮廓;而微光夜视仪得到的图像亮度低,同样细节信息缺乏。人眼只能区分大约几十种灰度级,但可以区分上千种彩色^[2]。针对人眼对于色彩更为敏感的特性,实现彩色夜视具有重要的应用价值。

近年来,彩色夜视领域主要有微光与红外图像融合^[3]、微光双波段融合^[4]等,而图像融合方法有许多,例如基于拉普拉斯金字塔变换的图像融合算法、基于YUV(亦称YCrCb)空间的色彩传递算法^[5]、基于小波变换的图像融合方法等。国内外很多机构和大学在这一领域做出了很多研究工作,利用这些方法可以实现伪彩色夜视。为实现彩色显示,美国国际电话电报公司推出了一款伪彩色夜视仪,展示的夜视效果良好^[6] 。

现多数彩色夜视方法是用红外与可见光波段图像融合^[7]获得假彩色图像,但得到的假彩色图像与人眼的识别经验并不吻合,延长了人眼的识别时间。故而希望找到一种可以得到识别目标的真彩色图像的有效方法。现国外仅有为数不多的报道与真彩夜视仪相关,但这些报道只是简单地介绍产品,并没有为真彩夜视技术研究带来实际的价值和意义,如来自日本的新相机FALCON EYE KC-2000、美国Tenebraex公司研制的ColorPath^TM CCNVD (Color Capable Night Vision Device)彩色夜视仪。国内北京理工大学等高校对于真彩夜视技术进行了深入研究。据目前了解可知,要想得到真彩色夜视图像,可以通过直接和间接的方式得到。直接方式是通过硬件直接得到,例如上述的KC-2000相机;间接方式包括基于融合的方法和基于颜色转换的方法,其中基于融合的方法是通过多个传感器采集分光谱图像,将分光谱图像进行融合得到彩色图像,而基于颜色转换的方法则是通过与参考图像作对比,使当前的灰度图像转换为彩色图像的方法^[8]。本文在间接方式的基础上基于融合方法对彩色夜视融合算法^[9]进行研究。

2 系统基本原理

夜晚条件下,由于月光、星光以及大气辉光的存在,夜天光中仍然存在低于人眼视觉响应阈值的可见光光谱。根据色度学原理,任意彩色光谱C,都能分解成三基色光谱R、G、B的叠加^[10],即C=r(R)+g(G)+b(B),式中r、g、b分别为三基色光谱的值。据此,利用滤光、分光装置将系统接收到的目标光谱进行三基色分离、成像,然后利用融合算法对图像进行真彩还原,就可以得到真彩微光夜视图像。为提高微光图像的细节分辨能力和低照度条件下的适用性,三波段真彩微光夜视图像通常由全波图像及三幅分波段图像融合而成^[2]。系统原理图如图1所示。其中融合算法是影响真彩微光夜视图像质量的重要因素。

图 1. 三波段真彩色夜视系统原理

Fig. 1. Principle diagram of three-band true-color night vision system

下载图片 查看所有图片

实验中,在室内与室外分别采集场景一、场景二的源图像,环境照度分别为0.0012 lx、0.0006 lx,工作温度分别为20 ℃、13 ℃。探测器选用星光级电子耦合器件(CCD)WAT-902H2,供电电源电压为12 V。

3 图像融合算法

昼视彩色图像融合常用的方法是将R、G、B波段图像分别输入到彩色图像的3个分量通道,随即得到色彩较为真实的融合图像^[11]。相较于昼视图像,夜视图像存在对比度和亮度较低、噪声大等缺点,采集到的源图像如图2、3所示。昼视彩色图像融合算法直接用于三波段真彩微光夜视图像融合效果不佳。针对夜视图像自身特点,结合图像融合的一般算法,提出了4种真彩微光夜视图像融合算法。

3.1 加权平均法

加权平均法是图像融合算法中最为传统、最为简单的一种。加权平均法是对一目标进行多次观测,按照一定权重计算出加权平均值,将其作为待融合图像进行图像融合的方法^[12]。加权平均法可表示为

F(m,n)=ω1A1(m,n)+ω2A2(m,n)+…+ωnAn(m,n),(1)

图 2. 场景一的源图像。(a)全波图像;(b)短波图像;(c)中波图像;(d)长波图像

Fig. 2. Source images for Scene 1. (a) Full-wave image; (b) short-wave image; (c) medium-wave image; (d) long-wave image

下载图片 查看所有图片

图 3. 场景二的源图像。(a) 全波图像;(b) 短波图像;(c) 中波图像;(d) 长波图像

Fig. 3. Source images for Scene 2. (a) Full-wave image; (b) short-wave image; (c) medium-wave image; (d) long-wave image

下载图片 查看所有图片

式中:m表示图像中像素的行号,m=1,2,3…M;n表示图像中像素的列号,n= 1,2,3…N;A₁、A₂、…、A_n为观测值;ω₁、ω₂、…、ω_n表示加权系数且和为1。

具体流程为:

1) 为充分利用全波图像的细节信息,待融合图像R'可表示为

R'=0.5(1-CR)R+[1-0.5(1-CR)]W,

式中:R、W分别为获取的R波段和全波段图像,C_R为两者相关系数。G'、B'可依此法得到。

2) 将得到的待融合图像进行融合。

使用加权平均法进行图像融合所得的彩色融合图像如图4、5所示。

图 4. 基于加权平均法的场景一的融合图像

Fig. 4. Fusion image for Scene 1 based on weighted average method

下载图片 查看所有图片

图 5. 基于加权平均法的场景二的融合图像

Fig. 5. Fusion image for Scene 2 based on weighted average method

下载图片 查看所有图片

3.2 基于线性变换增强的Brovey法

Brovey提出一种基于RGB空间的经典融合算法。多光谱图像(R_n,G_n,B_n)与全波图像W的关系表达式为

RnGnBn=WR+G+BRGB。(2)

将多光谱图像与全波图像很好地融合在一起,有效利用了分波段图像的光谱信息与全波段图像的细节信息。

Brovey法对于处理三波段图像的融合效果较好,但没有保留源图像的亮度分量,同时需要对源图像作较高要求的预处理,噪声对于融合效果影响比较大,所以可以先对R_n、G_n、B_n进行图像增强,再进行融合。

为解决直方图均衡化增强带来的融合结果的不确定性,提出基于线性变换增强的Brovey法进行图像融合。即先采用线性变换的方式对待融合图像进行增强。线性变换是对图像进行不同程度灰度级的展开。

分析Brovey法得到的通道分量R_n,灰度集中分布在一个范围较小的区域,灰度值差异较小,亮度较低,而对于8位图像而言,人眼视觉的最佳目视灰度值为127^[13]。为使线性变换后的图像灰度均值适宜人眼观察,采用“均值恒定”的方式对图像进行增强,即调整后的图像灰度均值为127,因此对灰度直方图作如下调整:若原图像灰度均值为a₁,则灰度小于a₁的区域线性变换到[0,127]区域,而原图像中灰度大于a₁的区域线性变换到(127,255),原图像中灰度为a₁的像素点则直接变换到灰度值127。

这种方法具体的实现流程如下:

1) 现将采集到的源图像R、G、B分波段图像以及全波图像W进行线性变换,再利用Brovey法得到新的通道分量R_n、G_n、B_n;

2) 求取图像R_n、G_n、B_n的灰度均值a₁、a₂、a₃和图像的灰度最小值b₁、b₂、b₃;

3) 令线性增强变换后的彩色夜视图像通道分量为R'_n、G'_n、B'_n,则

R'nG'nB'n=(127/a1)·(Rn-b1)(127/a2)·(Gn-b1)(127/a3)·(Bn-b1)。(3)

采用基于线性变换的Brovey法得到的融合图像如图6、7所示。

图 6. 基于线性变换增强的Brovey法的场景一的的融合图像

Fig. 6. Fusion image for Scene 1 based on Brovey algorithm based on linear transformation enhancement

下载图片 查看所有图片

图 7. 基于线性变换增强的Brovey法的场景二的融合图像

Fig. 7. Fusion image for Scene 2 based on Brovey algorithm based on linear transformation enhancement

下载图片 查看所有图片

3.3 HIS空间法

三波段彩色夜视系统分波段图像获取的主要是图像的彩色信息,亮度信息明显不足,所以可以利用HIS(hue,saturation,intensity)空间中的I分量进行增强,得到亮度足够强的融合图像。选取不同的融合规则生成的新的亮度分量I则不同,常用的方法有直接替换法、加权平均法以及直方图匹配法等。其中直方图匹配法是最常用的算法,最大程度地保留了图像的光谱和强度信息。此法称为传统基于HSI空间变换的彩色融合算法^[12],简称HIS空间法。

具体流程如下:

1) 将R、G、B图像映射为一副多光谱图像,并将多光谱图像转换到HSI空间,得到色调H₁、饱和度S₁、亮度I₁三个分量;

2) 将全波图像转换到HSI空间,得到H₂、S₂、I₂三个分量;

3) 根据多光谱图像的亮度分量I₁和全波图像亮度分量I₂,采用直方图匹配法,以I₂作参考,对I₂进行直方图匹配得到新的亮度分量I₃;

4) 将第3)步得到的亮度分量I₃替换I₁,并同H、S分量一起转换到RGB空间,最后得到彩色夜视图像。

应用传统基于HSI空间变换法的融合结果如图8、9所示。

图 8. 场景一基于HSI空间变换法的融合图像

Fig. 8. Fusion image for Scene 1 based on HSI space method

下载图片 查看所有图片

图 9. 场景二基于HSI空间变换法的融合图像

Fig. 9. Fusion image for Scene 2 based on HSI space method

下载图片 查看所有图片

3.4 基于边缘分割的HSI空间法

在识别目标时,不仅仅可以通过色彩信息,边缘信息也是目标识别的主要手段。相对于分波段图像,具有高信噪比的全波图像的边缘信息更加丰富与突出,可以用全波图像对由三波段基于映射原则得到的彩色夜视图像(C图像)进行灰度调制;另外,如果引入过多的边缘信息会导致得到的图像不协调,显得生硬,所以,基于引入边缘信息的同时更好地保留源图像的光谱信息的原则^[14] ,流程如下:

1) 由于微光图像的灰度范围较窄,因此需要对实验得到的全波图像和分波段图像进行增强。微光图像增强方式采用固定均值增强的方式,固定均值选用最大灰度级的中值,此处对于8比特图像来说,中值取127,其实现方法可以表示为

N1=127×[N-min(N)]/Mean(N),(4)

式中:N表示原始图像,N₁为增强图像,min(N)为原始图像灰度最小值,Mean(N)为原始图像灰度平均值。

2) 将长波、中波、短波图像分别输入到R、G、B通道,映射成一副彩色夜视图像C,并将C图像转换到HSI空间,得到色度分量H、饱和度分量S以及亮度分量I图像。

3) 对W图像和I分量进行边缘检测。不同的边缘检测算子提取的边缘信息不同,常用的有Laplacian算子、Roberts算子和Canny算子等。鉴于微光夜视图像具有明显噪声的特点,本文采用对噪声具有抑制作用的Canny算子,而且Canny算子同时能够很好地对微光图像的弱边缘进行检测,性能良好,得到W图像的边缘分割图W₁和C图像的边缘分割图C₁。

4) 调整生成新的亮度分量I_new,其表达式为

Inew=k1W1+k2C1,(5)

式中:k₁、k₂为权重值。在流程1)中已经将全波图像与分波段图像的灰度均值调整到127,为得到灰度值适中的亮度分量,令k₁+k₂=1.0,生成的亮度分量灰度均值即约为127。

逐像素地对比边缘分割图W₁和边缘分割图C₁的值,则会产生4种情况:

a) 该像素是边缘图W₁的像素点,而不是边缘图C₁的像素点;

b) 该像素是边缘图W₁的像素点,也是边缘图C₁的像素点;

c) 该像素点不是边缘图W₁的像素点,而是边缘图C₁的像素点;

d) 该像素既不是边缘图W₁的像素点,也不是边缘图C₁的像素点。

对于情况a,则全波图像所占比例大,以提高融合图像的细节信息;对于情况c,则亮度分量所占比例大,以保留融合图像的光谱信息;对于情况b和d,则两者比例相当。基于以上考虑,为了适应本系统的实际需求,通过对实验采集到的图像反复处理,最终k₁和k₂的取值如下:

对于情况a,则k₁=0,7,k₂=0.3;

对于情况c,则k₁=0.3,k₂=0.7;

对于情况b、d,则k₁=0.5,k₂=0.5。

5) 由(5)式得到I_new,替换C图像原始亮度分量I、与色度分量H、饱和度分量S,由HSI空间转换到RGB空间,即得到真彩色夜视图像。

应用基于边缘分割的HIS空间的融合算法的融合结果如图10、11所示。

图 10. 场景一基于边缘分割的HIS法的融合图像

Fig. 10. Fusion image for Scene 1 based on HIS method based on edge segmentation

下载图片 查看所有图片

图 11. 场景二基边缘分割的HIS法的融合图像

Fig. 11. Fusion image for Scene 2 based on HIS method based on edge segmentation

下载图片 查看所有图片

4 客观评价

客观评价是通过一系列指标通过计算机模拟人类视觉系统感知图像质量,从而对得到的融合图像进行定量的评价^[15-16]。本文主要采取以下4个指标进行客观评价:

均值(G_AVG):所有像元亮度值的算术平均值,对人眼反映为平均亮度;

空间频率(F_SF):表征图像的空间活跃程度;

标准差(D_SD):表征图像灰度分布的离散程度,本质上说明了图像的对比度;

信息熵(E):表征图像中所含信息量的大小,代表了图像的融合质量。

其中均值接近127对于人眼会带来较好的视觉效果,故取M=- 127-GAVG值越大越好;另外3种指标值在一定程度上值越大,图像效果也越好。

为更直观地观测评价结果,将4项客观评价指标通过数据分析“主成分分析法”综合为一项指标“图像融合质量(IFQ,Q_IFQ)”,其中Q_IFQ 与4项客观评价指标的关系为

QIFQ=0.274M+0.269FSF+0.265DSD+0.277E。(6)

表1、表2分别列出了场景一和场景二各个评价指标的值和计算得出的Q_IFQ值。

在客观评价中,可以看到在这4种融合算法中基于线性变换的Brovey法得到的融合图像的IFQ值最大,优于另外3种。在得到的4种融合算法的融合图像中,可以看到基于线性变换的Brovey法得到的融合图像亮度适中,对比度清晰,色彩鲜艳,细节清楚,目标清晰可见。而另3种融合算法综合这几方面显然不如此种算法的融合图像视觉效果。加权平均法得到的结果图像对比度低,色彩信息少,目标识别效果差;HIS空间法得到的图像尽管对比度强烈,但色彩失真,失去真彩微光夜视的意义;基于边缘分割的HIS空间的融合算法的融合结果对比度较为清晰,细节信息与色彩信息较为丰富且保真,但其目视效果仍较弱于基于线性变换的Brovey法。

5 结论

简要阐述了真彩微光夜视技术原理,通过实验得到全波图像及三波段图像,列举4种真彩微光夜视图像融合算法,得到了相应的融合结果并通过主成分分析法将均值(AVG)、空间频率(SF)、标准差(SD)、信息熵(E)4项评价图像质量的指标综合为一项综合指标“IFQ”对融合图像进行综合评价。通过4种算法得到的结果图像均较原始微光图像信息量更为丰富、细节更为清晰,其中基于线性变换的Brovey法得到的融合图像的IFQ值最大,可视效果最佳,得到的结果图像较其余3种算法,对比度更强,颜色协调性更好,色彩最真实、鲜艳,目标识别效果最好,可以在真彩微光夜视技术中加以参考应用。