1 西安建筑科技大学 信息与控制工程学院,陕西 西安 710055
2 陕西省文物保护研究院,陕西 西安 710075
3 陕西省考古研究院,陕西 西安 710054
使用现有边缘检测方法提取古代壁画的线稿,存在噪声干扰大且丢失信息较多的问题。本文提出一种融合像素差卷积的壁画最优波段线稿提取方法,利用最小噪声分离方法将壁画多光谱数据的有效信息和噪声分离,选择最优主成分波段进行线稿的提取。针对传统卷积提取图像梯度信息的问题,引入像素差卷积提高边缘检测的图像梯度信息。在侧输出网络加入尺度增强模块(SEM)丰富多尺度特征,同时针对像素级别不平衡引起的像素错误分类问题,设计了基于图像相似度的Dice损失函数策略,逐级最小化像素距离获得清晰图像边缘,并利用壁画数据集先验知识微调模型解决数据集不足的问题。实验结果表明,本文方法可以在壁画褪色和噪声较多的场景下提取出较为清晰的线稿,线稿图像的SSIM和RMSE均优于其他算法,分别提高了2%~10%和2%~4%;在公开数据集BIPED上对模型进行验证,所提方法的ODS和OIS较PiDiNet分别提高0.005和0.007。该方法对褪色及具有病害的壁画可以提取出清晰完整的线稿图像。
线稿提取 光谱成像 像素差卷积 像素级平衡 壁画 sketch extraction spectral imaging pixel difference convolution pixel-level balancing mural
精准高效地从高分辨率遥感影像中提取建筑物信息对国土规划和地图制图意义重大,近年来基于卷积神经网络进行建筑物信息提取已经取得了很大的进展,然而在处理高分辨率遥感影像时仍存在影像的高级语义特征利用不够充分,难以获得细节丰富高精度分割影像的问题。文章针对以上问题提出了一种用于建筑物自动提取的深度学习网络结构空洞空间与通道感知网络(Atrous Space and Channel Perception Network,ASCP-Net)。该模型将空洞空间金子塔池化(Atrous Spatial Pyramid Pooling, ASPP)和空间与通道注意力 (Spatial and Channel Attention, SCA)模块融入到编码器-解码器结构中,通过ASPP模块来捕获和聚合多尺度上下文信息,采用SCA模块选择性增强特定位置和通道中更有用的信息,并将高低层特征信息输入解码网络完成建筑物信息的高效提取。在WHU建筑数据集(WHU Building Dataset)上进行实验,结果表明:文章提出的方法总体精度和F1评分分别达到了97.4%和94.6%,相比其他模型能够获得更清晰的建筑物边界,尤其对图像边缘不完整建筑的提取效果较好,有效提升了建筑物提取的精度和完整性。
高分辨率遥感影像 双注意力机制 空洞卷积 建筑物提取 high-resolution remote sensing images dual attention mechanism atrous convolution building extraction
强激光与粒子束
2024, 36(4): 043016
长春理工大学电子信息工程学院,吉林 长春 130012
针对彩色图像引导的深度图像超分辨率重建算法中存在的纹理转移和深度流失的问题,提出一种基于双特征融合引导的深度图像超分辨率重建网络(DF-Net)。为了充分利用深度和强度特征的关联性,在网络模型的深度恢复重建部分采用双通道融合模块(DCM)和双特征引导重建模块(DGM)。利用输入金字塔结构提取深度信息和强度信息的多尺度特征:DCM基于通道注意力机制对深度特征和强度特征进行通道间的特征融合与增强;DGM将深度、强度特征自适应选择融合后实现重建的双特征引导,增加了深度特征的引导作用,改善了纹理转移和深度流失的问题。实验结果表明,所提方法的峰值信噪比(PSNR)和均方根误差(RMSE)优于RMRF、JBU和Depth-Net等方法,尤其4×超分辨率重建结果的PSNR值比其他方法平均提升6.79 dB,RMSE平均下降0.94,取得了较好的深度图像超分辨率重建效果。
图像处理 图像超分辨率重建 卷积神经网络 深度图像 特征融合 通道注意力 激光与光电子学进展
2024, 61(8): 0837007
1 长春理工大学光电工程学院,吉林 长春 130022
2 长春理工大学空间光电技术研究所,吉林 长春 130022
目前多光谱行人检测算法大多对可见光与红外图像融合方法展开研究,但是充分融合多光谱图像所需的参数量巨大,会导致检测速度降低。针对这一问题,提出了一种基于时效性较高的YOLOv5s的多光谱行人检测算法。为了保证算法的检测速度,选用可见光与红外光通道方向上的合并方法作为网络的输入,并通过对传统算法的改进来提升检测精度。首先,用可变形卷积替换部分标准卷积,增强了网络对不规则形状的特征目标的提取能力;其次,用多尺度残差注意力模块替换网络中的空间金字塔池化模块,减弱了背景对行人目标的干扰,提升了检测精度;最后,通过改变连接方式,增加大尺度特征拼接层,提升了网络的检测最小尺度,提升了网络对小目标的检测效果。实验结果表明,改进后的算法在检测速度上有明显优势,并比原算法的mAP@0.5和mAP@0.5∶0.95分别提升了5.1和1.9个百分点。
行人检测 可变形卷积 注意力机制 小目标检测 YOLOv5s 激光与光电子学进展
2024, 61(10): 1037004
1 安徽工程大学计算机与信息学院,安徽 芜湖 241000
2 计算机网络和信息集成教育部重点实验室(东南大学),江苏 南京 210096
3 东南大学影像科学与技术实验室,江苏 南京 210096
提出一种基于多通道交叉卷积UCTransNet(MC-UCTransNet)的图像域双材料分解方法。该网络以UCTransNet为基础架构,采用通道交叉融合转换器和通道交叉注意模块来提高基材料分解性能,实现双输入双输出的端到端映射。网络中通道交叉融合模块和通道交叉注意模块可更好地捕捉复杂的通道信号相关性,以更充分地进行特征提取与融合,实现基材料生成路径之间的信息交换。为进一步提高模型的拟合性能,网络训练时采用混合损失及Sigmoid函数的归一化方法。实验结果表明,在骨骼基材料及软组织碘基材料分解任务中,所提方法能获得优质的基材料图像,与对比方法相比,其分解后的基材料图像在准确度及噪声伪影抑制上表现更好。
机器视觉 双能计算机断层成像 基材料分解 多通道交叉卷积 注意力 噪声抑制