广西公安计算机通讯技术研究所,广西南宁 530001
针对大多数基于 GAN的红外与可见光图像融合方法仅在生成器使用注意力机制,而鉴别阶段缺乏注意力感知能力的问题,提出了一种基于双注意力机制生成对抗网络(double attention generative adversarial networks,DAGAN)的红外与可见光图像融合方法。 DAGAN提出一种多尺度注意力模块,该模块在不同尺度空间中将空间注意力和通道注意力结合,并将其应用在图像生成阶段和鉴别阶段,使生成器和鉴别器均能感知图像中最具鉴别性的区域,同时提出了一种注意力损失函数,利用鉴别阶段的注意力图计算注意力损失,保存更多目标信息和背景信息。公开数据集 TNO测试表明:与其他 7种融合方法相比, DAGAN具有最好的视觉效果与最高的融合效率。
红外与可见光图像融合 公安应用 注意力机制 生成器 鉴别器 infrared and visible image fusion, public security GAN
西安科技大学 电气与控制工程学院,陕西西安710054
针对传统红外与可见光图像融合结果存在目标模糊、纹理细节丢失以及伪影等问题,提出一种基于目标增强与蝴蝶优化的红外与可见光图像融合算法。针对红外图像因成像机理导致的融合目标边缘模糊问题,构造基于目标边缘强化的红外图像增强模块;为解决因可见光图像质量较低而造成的融合图像细节缺失问题,搭建基于带色彩恢复因子的多尺度Retinex可见光增强模块;然后,利用四阶偏微分方程-主成分分析法对红外和可见光增强图像分别进行边缘平滑处理,以解决融合结果存在的伪影问题;最后,为使最终融合结果突出目标的同时保留更多的纹理细节,设计了基于蝴蝶优化的图像重建模块,以实现重建图像权重的自适应分配。为验证所提出算法的优势,将所提出的算法在TNO,INO,M3FD以及RoadScene数据集上与6种经典算法进行比较。实验结果表明,相比于对比算法,本文算法的信息熵、空间频率、均方差、联合熵、视觉信息保真度和自然场景6个客观评价指标上分别平均提高了9.24%,38.88%,51.11%,4.65%,35.44%,19.36%,融合结果目标边缘清晰、对比度强、无伪影且纹理细节丰富。
图像融合 红外图像 可见光图像 多尺度 蝴蝶优化 image fusion infrared image visible image multi-scale butterfly optimization 光学 精密工程
2023, 31(23): 3490
光子学报
2023, 52(11): 1110003
1 江南大学人工智能与计算机学院,江苏 无锡 214122
2 江南大学先进技术研究院,江苏 无锡 214122
3 江苏省模式识别与计算智能工程实验室,江苏 无锡 214122
4 苏州科技大学电子与信息工程学院,江苏 苏州 215000
针对红外与可见光图像融合方法存在的对源图像特征分离不充分、可解释性低且融合规则难以准确设计等问题,提出基于互信息特征分离表达的红外与可见光图像融合方法,有效分离特征的同时保留源图像的典型信息。首先,采用互信息约束的编码网络提取特征,最大化源图像与特征间互信息来保留源图像的特征表示,同时通过最小化私有和公有特征的互信息来达到分离表达的目的;其次,特征融合阶段设计了层级特征自适应融合模块来有效融合不同层级的特征信息,减小语义差距并调整感受野,增强网络对特征的学习能力;此外,损失函数采用软加权强度损失来平衡红外与可见光特征分布;最后,对比实验的主客观评价结果表明,所提方法能有效融合红外与可见光图像的重要信息,具有良好的视觉感知。
图像处理 红外与可见光图像 互信息 分离表达 层级特征自适应融合 软加权强度损失 激光与光电子学进展
2023, 60(24): 2410002
中国人民公安大学信息网络安全学院,北京 100038
针对低照度环境下红外与可见光图像融合过程中存在显著目标不完整、边缘模糊和对比度不足等问题,提出一种基于显著目标提取和泊松重建的融合方法。针对红外图像像素之间强度显著性的差异,首先利用显著性检测、阈值分割和伽马校正的关联性提取显著目标,从而实现红外图像中目标与背景的分离;其次考虑了源图像的视觉显著特征和梯度显著性,在梯度域上通过求解泊松方程重建融合图像;最后为提高低照度环境下融合图像的质量,利用红外图像的统计量均值和标准差优化融合结果。实验结果表明,所提方法在定性和定量分析方面均优于其他对比方法,能较好地突出红外目标信息,保留丰富的背景信息,视觉效果显著。
图像处理 图像融合 红外图像 可见光图像 泊松重建 低照度 激光与光电子学进展
2023, 60(16): 1610012
昆明理工大学国土资源工程学院,云南 昆明 650031
为解决现有多尺度变换方法在融合红外与可见光图像时出现对比度低和边缘轮廓不清晰问题,提出一种基于对比度和结构提取的方法。首先对可见光图像进行自适应增强,对红外图像进行线性归一化处理;然后分别利用稠密SIFT描述符和局部梯度能量算子提取图像的局部对比度和显著结构,结合局部对比度和显著结构的权重得到权重图,通过快速引导滤波器消除权重图的不连续性和噪声;最后利用金字塔分解方法对细化后的权重图和经过增强和线性归一化的源图像进行融合。在公共数据集上进行大量实验,使用6种评价指标对实验结果进行定量分析,并对所提方法与10种主流的图像融合算法进行定性对比。实验结果表明,所提方法可以有效保留源图像的对比度、边缘轮廓和细节信息,并在视觉感知和定量指标上取得更优的融合效果。
图像融合 稠密SIFT 结构张量 红外图像 可见光图像 激光与光电子学进展
2023, 60(14): 1410005
光学 精密工程
2023, 31(10): 1548