作者单位
摘要
广西公安计算机通讯技术研究所,广西南宁 530001
针对大多数基于 GAN的红外与可见光图像融合方法仅在生成器使用注意力机制,而鉴别阶段缺乏注意力感知能力的问题,提出了一种基于双注意力机制生成对抗网络(double attention generative adversarial networks,DAGAN)的红外与可见光图像融合方法。 DAGAN提出一种多尺度注意力模块,该模块在不同尺度空间中将空间注意力和通道注意力结合,并将其应用在图像生成阶段和鉴别阶段,使生成器和鉴别器均能感知图像中最具鉴别性的区域,同时提出了一种注意力损失函数,利用鉴别阶段的注意力图计算注意力损失,保存更多目标信息和背景信息。公开数据集 TNO测试表明:与其他 7种融合方法相比, DAGAN具有最好的视觉效果与最高的融合效率。
红外与可见光图像融合 公安应用 注意力机制 生成器 鉴别器 infrared and visible image fusion, public security GAN 
红外技术
2023, 45(6): 639
作者单位
摘要
西安科技大学 电气与控制工程学院,陕西西安710054
针对传统红外与可见光图像融合结果存在目标模糊、纹理细节丢失以及伪影等问题,提出一种基于目标增强与蝴蝶优化的红外与可见光图像融合算法。针对红外图像因成像机理导致的融合目标边缘模糊问题,构造基于目标边缘强化的红外图像增强模块;为解决因可见光图像质量较低而造成的融合图像细节缺失问题,搭建基于带色彩恢复因子的多尺度Retinex可见光增强模块;然后,利用四阶偏微分方程-主成分分析法对红外和可见光增强图像分别进行边缘平滑处理,以解决融合结果存在的伪影问题;最后,为使最终融合结果突出目标的同时保留更多的纹理细节,设计了基于蝴蝶优化的图像重建模块,以实现重建图像权重的自适应分配。为验证所提出算法的优势,将所提出的算法在TNO,INO,M3FD以及RoadScene数据集上与6种经典算法进行比较。实验结果表明,相比于对比算法,本文算法的信息熵、空间频率、均方差、联合熵、视觉信息保真度和自然场景6个客观评价指标上分别平均提高了9.24%,38.88%,51.11%,4.65%,35.44%,19.36%,融合结果目标边缘清晰、对比度强、无伪影且纹理细节丰富。
图像融合 红外图像 可见光图像 多尺度 蝴蝶优化 image fusion infrared image visible image multi-scale butterfly optimization 
光学 精密工程
2023, 31(23): 3490
作者单位
摘要
重庆工商大学 机械工程学院 制造装备机构设计与控制重庆市重点实验室,重庆 400067
为改善红外与可见光融合结果与源图像间的部分细节特征丢失问题,充分提取红外与可见光图像中的特征信息,提出了一种改进的双通道深度学习自编码网络进行红外与可见光图像融合。其中,双通道结构由密集连接和残差连接模块级联构成,并设置一种综合像素、结构相似度和梯度特征保留的损失函数,使该编码器结构可以充分提取红外与可见光图像的多层次特征,在融合层采用空间L1范数和注意力机制对级联双通道特征分别进行融合,最后设计对应的解码器对融合特征图像进行重构,获取最终的融合结果。通过与传统算法以及近年最新的深度学习算法进行实验对比,结果表明该方法在主观和客观上都具有优秀的综合性能。
红外与可见光图像融合 双通道网络 残差密集模块 注意力机制 自编码器 Infrared and visible image fusion Dual channel parallel network Residual dense module Attention model Auto-encoder network 
光子学报
2023, 52(11): 1110003
王慧 1,2,3罗晓清 1,2,3,*张战成 4
作者单位
摘要
1 江南大学人工智能与计算机学院,江苏 无锡 214122
2 江南大学先进技术研究院,江苏 无锡 214122
3 江苏省模式识别与计算智能工程实验室,江苏 无锡 214122
4 苏州科技大学电子与信息工程学院,江苏 苏州 215000
针对红外与可见光图像融合方法存在的对源图像特征分离不充分、可解释性低且融合规则难以准确设计等问题,提出基于互信息特征分离表达的红外与可见光图像融合方法,有效分离特征的同时保留源图像的典型信息。首先,采用互信息约束的编码网络提取特征,最大化源图像与特征间互信息来保留源图像的特征表示,同时通过最小化私有和公有特征的互信息来达到分离表达的目的;其次,特征融合阶段设计了层级特征自适应融合模块来有效融合不同层级的特征信息,减小语义差距并调整感受野,增强网络对特征的学习能力;此外,损失函数采用软加权强度损失来平衡红外与可见光特征分布;最后,对比实验的主客观评价结果表明,所提方法能有效融合红外与可见光图像的重要信息,具有良好的视觉感知。
图像处理 红外与可见光图像 互信息 分离表达 层级特征自适应融合 软加权强度损失 
激光与光电子学进展
2023, 60(24): 2410002
作者单位
摘要
武汉科技大学 信息科学与工程学院,湖北 武汉 430081
针对红外与可见光图像融合中存在的热目标信息丢失、边缘结构模糊、细节损失等问题,提出一种多层分解的图像融合算法。首先使用结构纹理分解将源图分解为细节层和结构层,对细节层使用基于结构相似性和L2范数的融合规则融合并增强;然后提出一种结构均值法,将结构层分解为亮度层和基础层,对亮度层使用绝对值取大融合,对基础层设计了一种基于多指标的融合规则进行融合;最后重构各子融合图像得到最终融合图像。为验证算法的有效性,与9种红外与可见光图像融合算法进行对比,使用空间频率、平均梯度、边缘强度、方差、视觉保真度、基于人类视觉感知的指标和信息熵7种客观图像评价指标,在前5种指标上分别取得27.4%、36.5%、38.2%、8.5%和23.5%的提升。实验结果表明,本文算法在有效保留红外热目标的同时较好地保留了边缘结构和纹理细节,且在客观评价指标上取得了更好的效果。
图像处理 图像融合 结构纹理分解 红外图像 可见光图像 image processing image fusion structure-texture decomposition infrared image visible image 
液晶与显示
2023, 38(10): 1389
作者单位
摘要
中国人民公安大学信息网络安全学院,北京 100038
针对低照度环境下红外与可见光图像融合过程中存在显著目标不完整、边缘模糊和对比度不足等问题,提出一种基于显著目标提取和泊松重建的融合方法。针对红外图像像素之间强度显著性的差异,首先利用显著性检测、阈值分割和伽马校正的关联性提取显著目标,从而实现红外图像中目标与背景的分离;其次考虑了源图像的视觉显著特征和梯度显著性,在梯度域上通过求解泊松方程重建融合图像;最后为提高低照度环境下融合图像的质量,利用红外图像的统计量均值和标准差优化融合结果。实验结果表明,所提方法在定性和定量分析方面均优于其他对比方法,能较好地突出红外目标信息,保留丰富的背景信息,视觉效果显著。
图像处理 图像融合 红外图像 可见光图像 泊松重建 低照度 
激光与光电子学进展
2023, 60(16): 1610012
作者单位
摘要
昆明理工大学国土资源工程学院,云南 昆明 650031
为解决现有多尺度变换方法在融合红外与可见光图像时出现对比度低和边缘轮廓不清晰问题,提出一种基于对比度和结构提取的方法。首先对可见光图像进行自适应增强,对红外图像进行线性归一化处理;然后分别利用稠密SIFT描述符和局部梯度能量算子提取图像的局部对比度和显著结构,结合局部对比度和显著结构的权重得到权重图,通过快速引导滤波器消除权重图的不连续性和噪声;最后利用金字塔分解方法对细化后的权重图和经过增强和线性归一化的源图像进行融合。在公共数据集上进行大量实验,使用6种评价指标对实验结果进行定量分析,并对所提方法与10种主流的图像融合算法进行定性对比。实验结果表明,所提方法可以有效保留源图像的对比度、边缘轮廓和细节信息,并在视觉感知和定量指标上取得更优的融合效果。
图像融合 稠密SIFT 结构张量 红外图像 可见光图像 
激光与光电子学进展
2023, 60(14): 1410005
作者单位
摘要
兰州交通大学 电子与信息工程学院,甘肃兰州730070
为了解决红外与可见光图像融合中出现细节信息丢失,边缘模糊以及伪影的问题,本文提出一种快速交替引导滤波,在保证融合图像质量的前提下有效提高运行效率,结合CNN(卷积神经网络)以及红外特征提取进行有效的融合。首先,对源图像利用四叉树分解和贝塞尔插值来提取红外亮度特征结合可见光图像得到初始融合图像。其次,通过快速交替引导滤波获取源图像的基础层与细节层信息,基础层通过CNN与拉普拉斯变换得到融合后的基础图像,细节层通过显著性测量的方法得到融合后的细节图像。最后,将初始融合图、基础融合图以及细节融合图进行相加得到最终融合结果。本算法涉及到的快速交替引导滤波以及特征提取性能使得最终融合结果中包含丰富的纹理细节信息,边缘清晰。经实验表明,本算法所得融合结果在视觉方面具有较好的保真度,客观评价指标较对比方法其信息熵、标准差、空间频率、小波特征互信息、视觉保真度以及平均梯度分别平均提高了9.9%,6.8%,43.6%,11.3%,32.3%,47.1%。
快速交替引导滤波 红外特征提取 卷积神经网络 红外与可见光图像融合 fast alternating guided filtering infrared feature extraction convolutional neural network infrared and visible image fusion 
光学 精密工程
2023, 31(10): 1548
作者单位
摘要
1 火箭军工程大学 作战保障学院,西安 710025
2 火箭军工程大学 核工程学院,西安 710025
针对当前基于条件生成对抗网络的红外图像生成算法中红外生成图像纹理细节信息差和结构信息差的问题,提出了一种基于改进的条件生成对抗网络的红外图像生成算法。首先,基于ConvNext改进了生成网络,在生成网络解码部分通过添加残差连接增强了解码部分对编码部分提取的图像深层特征的利用;其次,生成网络采用UNet网络架构,增强了对图像底层特征的利用;最后,对抗网络通过对生成图像特征的一阶统计量(均值)和二阶统计量(标准差)的损失计算,进一步改善了红外生成图像的灰度信息和纹理细节信息。与现有典型红外图像生成算法的对比实验结果表明,该方法能够生成质量更高的红外图像,在主观视觉描述和客观指标评价上都取得了更好表现。匹配应用实验表明,该算法在可见光图像与红外图像异源匹配任务中体现了较好的应用价值。
红外图像 可见光图像 生成对抗网络 生成网络 对抗网络 匹配应用评价 Infrared image Visible image Generative adversarial networks Generative networks Adversarial networks Matching application evaluation 
光子学报
2023, 52(4): 0410003
作者单位
摘要
1 南昌航空大学 无损检测教育部重点实验室,江西南昌330063
2 中国航发沈阳黎明航空发动机有限责任公司,辽宁沈阳110043
为了改善红外与可见光图像融合的视觉效果,通过潜在低秩表示将两种不同源的图像分别分解为各自的低秩分量和去除噪声的稀疏分量,采用KL变换确定权重对稀疏分量进行加权融合得到融合稀疏图。再对双判别器的生成对抗网络重设计,借助VGG16网络提取两种源的低秩分量特征作为该网络的输入,通过生成器和判别器的博弈来生成融合低秩图。最后,将融合稀疏图与融合低秩图进行叠加获得最终的融合结果。实验结果表明,在TNO数据集上,与所列的5种先进方法相比,本文所提出的方法在熵、标准差、互信息、差异相关性总和及多尺度结构相似度5种指标上均获得最优结果,相比于次优值,5种指标分别提高了2.43%,4.68%,2.29%,2.24%,1.74%。在RoadScene数据集上只在差异相关性总和及多尺度结构相似度两种指标上取得最优,另外3种指标仅次于GTF(gradient transfer and total variation minimization)方法,但图像视觉效果明显优于GTF方法。综合主观评价和客观评价分析,本文所提方法确实能获得高质量的融合图像,与多种方法相比具有明显的优势。
红外图像 可见光图像 潜在低秩表示 改进双判别器生成对抗网络 图像评价 infrared image visible image latent low-rank representation modified double-discriminator conditional generative adversarial network image evaluation 
光学 精密工程
2023, 31(7): 1085

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!