作者单位
摘要
天津大学电气自动化与信息工程学院,天津 300072
为解决在红外与可见光图像融合领域中,卷积神经网络(CNN)无法建模源图像内部的全局语义相关性,对图像上下文信息利用不充分等问题,创新性地提出了一种联合CNN和转换器(Transformer)的图像融合模型。首先,为了弥补CNN无法建立长程依赖关系的缺陷,提出了联合CNN和Transformer的编码器,加强了对多个局部区域间相关性的特征提取,提高了模型对图像局部细节信息的提取能力。其次,提出了一种基于模态最大差异度的融合策略,强化融合过程中对源图像不同区域信息的自适应表达,提高了融合图像的对比度。最后,在TNO公开数据集上,联合多种对比算法对所提融合模型进行了实验验证。实验结果表明,在主观视觉效果和客观评价指标两方面的评估上,所提模型与现有融合方法相比都具有明显优势。此外,通过消融实验,分别对提出的联合编码器和融合策略进行了有效性分析,实验结果证明所提出的设计思想在红外可见光图像融合任务上是有效的。
图像融合 卷积神经网络 转换器 注意力机制 红外图像 
激光与光电子学进展
2023, 60(16): 1610013
作者单位
摘要
1 山东中医药大学智能与信息工程学院,山东 济南 250355
2 山东中医药大学第一临床医学院,山东 济南 250355
卷积神经网络(CNN)在新冠肺炎X射线图像分类中取得诸多成果,但卷积结构只能学习到特征图相邻空间位置的上下文信息。为了更好地结合胸部X射线图像全局信息,除了提高CNN的深度,所提网络通过设计主干网络ConvNeXt、聚合注意力模块、长短期记忆网络,更加关注全局与局部信息的交互性。对公开访问的COVID-19 Radiography Database数据集图像分类,所提网络在三分类实验中相较于基础模型ConvNeXt在准确率、精确率、召回率上分别提高1.60个百分点、1.23个百分点、1.76个百分点,且其在多项实验指标上优于Vision Transformer、Swin-Transformer,准确率、精确率、召回率、特异度分别提高到95.6%、96.03%、95.76%、97.53%。另外选用Chest X-ray数据集进一步验证所提网络泛化能力,采用Score-CAM算法验证其有效性。实验结果表明,所提网络对新冠肺炎X射线图像具有较好的分类效果。
图像处理 X射线图像 新冠肺炎 注意力机制 长短期记忆网络 
激光与光电子学进展
2023, 60(14): 1410001
作者单位
摘要
南京理工大学计算机科学与工程学院,江苏 南京 210094
针对光学遥感图像飞机检测任务中超大图像尺寸、小目标检测、复杂背景干扰等问题,提出一种轻量化特征提取网络与注意力机制融合的改进型Faster R-CNN飞机检测算法。通过删去对检测小目标冗余的深层特征层,所提算法对小目标的检测能力得到有效提升,且网络参数量减少38.4%,实现了轻量化处理,推理速度也有显著提升;为强化特征提取能力、弱化背景干扰,创造性地仅在特征提取网络的主干部分引入卷积块注意力模块,有效增加模型对飞机目标的检测能力;在测试推理阶段,采用中线单帧预测后处理方式,对重叠区域内的飞机目标进行单帧预测,避免重复推理、预测结果不一致现象。实验证明,改进后的算法在光学遥感数据集上的mF1分数比改进前算法提升3.5%,最终达到88.97。
遥感 飞机检测 注意力机制 轻量化 遥感图像 
激光与光电子学进展
2023, 60(12): 1228007
作者单位
摘要
1 广东工业大学计算机学院,广东 广州 510006
2 云南电网有限责任公司输电分公司,云南 昆明 650011
为了有效地检测复杂场景下施工人员的安全帽佩戴情况,减少安全隐患,提出一种改进的YOLOv4安全帽检测算法(SMD-YOLOv4)。首先采用SE-Net注意力模块强化模型主干网络提取有效特征的能力;然后使用密集空洞空间金字塔池化(DenseASPP)代替网络中的空间金字塔池化(SPP)以减少信息丢失,优化全局上下文信息的提取;最后在PANet部分增加特征融合的尺度并引入深度可分离卷积,使网络在获得复杂背景下小目标细节信息的同时不降低网络推理速度。实验结果表明:在自建实验数据集下,SMD-YOLOv4算法的平均精度均值(mAP)达97.34%,较目前具有代表性的Faster R-CNN、SSD、YOLOv5、YOLOx和YOLOv4算法,分别高出了26.41个百分点、6.44个百分点、3.25个百分点、1.49个百分点和3.19个百分点,能满足实时检测的需要。
目标检测 YOLOv4 安全帽检测 注意力机制 多尺度特征融合 DenseASPP 
激光与光电子学进展
2023, 60(12): 1210011
作者单位
摘要
1 安徽工程大学电气工程学院,安徽 芜湖 241000
2 高端装备先进感知与智能控制教育部重点实验室,安徽 芜湖 241000
3 芜湖市固高自动化技术有限公司,安徽 芜湖 241000
针对视觉同步定位与建图算法在遮挡情况下易受到干扰而导致定位误差较大且闭环检测精度较低等问题,提出一种融合混合注意力实例分割的视觉同步定位与建图算法。该算法能够动态调整被遮挡物识别权重,在出现遮挡情况时提升对被遮挡物的特征提取与识别能力。同时采用概率去误匹配算法去除错误匹配点对,增加位姿求解及关键帧选取精度,从而更好地修正机器人位姿、提高系统构图的准确率。通过KITTI公开数据集和真实场景对所提算法进行测试,结果表明,所提算法在闭环准确率上与ORB-SLAM2算法相比约提高10.7%,平移误差约减小27.6%,体现了良好的构图能力。
遥感 同步定位与地图构建 注意力机制 实例分割 目标识别 闭环检测 
激光与光电子学进展
2023, 60(10): 1028008
作者单位
摘要
1 上海海洋大学信息学院,上海 201306
2 上海建桥学院信息技术学院,上海 201306
3 上海电力大学,上海 200090
深度学习在解决遥感影像场景分类问题中发挥了重要作用,但在某些特定的遥感场景分类问题中,存在可训练带标签样本严重不足的情况(单类样本数少于10),造成现有的传统深度模型分类效果不理想。针对上述问题,提出一种小样本遥感场景分类方法,并构建一种基于元学习(meta-learning)训练策略的模型ResNet14-Attention-ProtoNet(RA-ProtoNet)。首先,采用预训练的深度残差网络ResNet14作为特征嵌入模块,提取遥感影像深度特征;其次,针对同类样本特征不明显会对类级(class-level)表达造成的干扰问题,在类级表达模块,采用基于双向长短期记忆网络(Bi-LSTM)的注意力机制强化类内样本信息,生成样本的类级特征表达;最后,利用欧氏距离度量待分类样本与类级特征之间的距离,实现分类预测。在UCMERCED、AID-30和NWPU-RESISC45等3个遥感影像数据集上,将所提方法与基于迁移学习和现有元学习方法的遥感场景分类方法进行对比实验,在5-way 5-shot条件下,所提方法的整体场景分类精度分别达到81.30%、83.29%和81.22%。实验结果表明,所提方法可以有效挖掘类内样本信息,在极小样本条件下获得更高的遥感影像场景分类精度。
遥感 图像处理 遥感影像分类 小样本学习 注意力机制 
激光与光电子学进展
2023, 60(10): 1028003
作者单位
摘要
1 中国人民公安大学侦查学院,北京 100038
2 江苏省公安厅刑警总队,江苏 南京 210000
马德里指纹错案的出现使得现行指纹鉴定体系不断受到挑战和质疑。以指纹二级特征的统计规律为基础的量化鉴定技术成为了新的研究难点与热点,而指纹二级特征的自动检测与分类是实现指纹二级特征自动统计的基础。因此,提出一种基于YOLOv5的指纹二级特征检测方法。首先,建立指纹二级特征数据集,共包含4000张带标注的指纹图像;其次,根据指纹二级特征点尺寸小且分布密集的特点,对YOLOv5网络结构进行改进,删除原有的32倍下采样大目标特征检测层,添加新的微小特征融合层;再使用Feature Pyramid Networks(FPN)、Pyramid Attention Network(PAN)和Spatial Pyramid Pooling(SPP)结构通过融合多种尺度的方式实现局部特征和全局特征提取;最后,添加Squeeze-and-Excitation(SE)通道注意力机制模块,有效增强模型的鲁棒性和密集小目标的检测能力。实验结果表明,相比于原模型,改进后YOLOv5s_FI模型,在检测速度基本不变的情况下,平均精度均值(mAP0.5)从93.0%提高到97.4%,且权重缩减了3/4。
图像处理 目标检测 指纹特征识别 YOLOv5 注意力机制 
激光与光电子学进展
2023, 60(10): 1010006
作者单位
摘要
太原科技大学应用科学学院, 山西 太原 030024
目前主流的深度融合方法仅利用卷积运算来提取图像局部特征, 但图像与卷积核之间的交互过程与内容无关, 且不能有效建立特征长距离依赖关系, 不可避免地造成图像上下文内容信息的丢失, 限制了红外与可见光图像的融合性能。为此, 本文提出了一种红外与可见光图像多尺度 Transformer融合方法。以 Swin Transformer为组件, 架构了 Conv Swin Transformer Block模块, 利用卷积层增强图像全局特征的表征能力。构建了多尺度自注意力编码 -解码网络, 实现了图像全局特征提取与全局特征重构; 设计了特征序列融合层, 利用 SoftMax操作计算特征序列的注意力权重系数, 突出了源图像各自的显著特征, 实现了端到端的红外与可见光图像融合。在 TNO、Roadscene数据集上的实验结果表明, 该方法在主观视觉描述和客观指标评价都优于其他典型的传统与深度学习融合方法。本方法结合自注意力机制, 利用 Transformer建立图像的长距离依赖关系, 构建了图像全局特征融合模型, 比其他深度学习融合方法具有更优的融合性能和更强的泛化能力。
图像融合 自注意力机制 多尺度 红外图像 image fusion Swin Transformer Swin Transformer self-attentional mechanism multi-scale infrared image 
红外技术
2023, 45(3): 266
作者单位
摘要
1 西安工业大学 电子信息工程学院,陕西 西安 710021
2 西安工业大学 兵器科学与技术学院,陕西 西安 710021
针对航拍图像中对于小尺度的飞机目标出现漏检、错检的问题,在SSD(Single Shot MultiBox Detector)模型的基础上提出了一种改进SSD的航拍图像目标检测模型。首先,针对SSD模型中浅层特征图中缺乏语义、细节信息的问题,设计了一种特征融合机制,通过添加细节信息补充特征层和添加由递归反向路径获得的语义信息补充特征层来丰富浅层特征图的语义、细节信息。然后,针对SSD模型对通道以及空间信息的关注能力不足的问题,引入了结合通道和空间的混合注意力模块来提高模型整体的关注能力。最后,针对SSD模型中先验框与小尺度目标不匹配的问题,对先验框的比例进行了调整。使用自制的航拍图像数据集进行验证,结果表明改进后的模型检测精度为95.7%,相较于原模型提高了7.5%,检测速度达到30.8 FPS。
目标检测 特征融合 注意力机制 航拍图像 object detection feature fusion attentional mechanism aerial images 
液晶与显示
2023, 38(1): 128
作者单位
摘要
兰州交通大学 电子与信息工程学院,甘肃兰州730070
针对现有红外与可见光图像融合时,融合结果存在细节信息丢失、特征提取不足等问题,提出了一种多尺度密集连接注意力的红外与可见光图像融合深度学习网络模型。首先,设计多尺度卷积提取红外与可见光图像中不同尺度信息,增大感受野特征提取范围,克服了单一尺度特征提取不足的问题。然后,通过密集连接网络增强特征提取,并在编码子网络末端采用提出的可变形卷积注意力机制,密切联系全局上下文信息,增强对红外与可见光图像中重要特征信息的聚焦能力。最后,由全卷积层构成解码网络,重构生成融合图像。本文选取了六种图像融合客观评价指标,红外与可见光图像公开数据集融合实验结果表明:与其他8种方法相比,本文算法对比实验指标均有所提高,其中结构相似性(SSIM)、空间频率(SF)指标分别平均提高了0.26倍、0.45倍。所提方法的融合结果保留了更清晰的边缘及目标信息,具有更好的对比度和清晰度,在客观评价方面均优于对比方法。
红外与可见光图像 图像融合 多尺度特征提取 密集连接网络 注意力机制 visible and infrared images image fusion multi-scale feature extraction densely connected network attentional mechanism 
光学 精密工程
2022, 30(18): 2253

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!