1 南京航空航天大学自动化学院, 南京 210000
2 近地面探测技术重点实验室, 江苏 无锡 214000
针对低光照航拍图像亮度低、对比度弱、噪声多、细节缺失等问题, 提出一种基于Retinex和多注意力机制的低光照航拍图像增强 (MARNet) 方法。首先, 将低光照航拍图像分解为光照图和反射图, 再将CBAM注意力机制引入噪声调整网络, 让网络更加关注高噪区域, 去除反射图中大量噪声; 然后, 设计了由上下采样结构组成的光照调整网络, 引入通道注意力机制, 提升光照图亮度, 同时, 加入区域损失函数, 提高细节对比度; 最后, 为实现低光照近地面目标检测与跟踪, 利用低光照图像合成方法, 加入真实噪声, 制作了一套低光照航拍配对数据集。实验结果表明, 所提方法在提高图像亮度、减少噪声的同时还原了细节信息, 3项性能指标PSNR, SSIM和NIQE及人类视觉感知效果均有所提升。
低光照航拍图像 图像增强 Retinex理论 多注意力机制 区域损失 low-light aerial image image enhancement Retinex theory multi-attention mechanism regional loss
1 西安工业大学 电子信息工程学院，陕西 西安 710021
2 西安工业大学 兵器科学与技术学院，陕西 西安 710021
针对航拍图像中对于小尺度的飞机目标出现漏检、错检的问题，在SSD（Single Shot MultiBox Detector）模型的基础上提出了一种改进SSD的航拍图像目标检测模型。首先，针对SSD模型中浅层特征图中缺乏语义、细节信息的问题，设计了一种特征融合机制，通过添加细节信息补充特征层和添加由递归反向路径获得的语义信息补充特征层来丰富浅层特征图的语义、细节信息。然后，针对SSD模型对通道以及空间信息的关注能力不足的问题，引入了结合通道和空间的混合注意力模块来提高模型整体的关注能力。最后，针对SSD模型中先验框与小尺度目标不匹配的问题，对先验框的比例进行了调整。使用自制的航拍图像数据集进行验证，结果表明改进后的模型检测精度为95.7%，相较于原模型提高了7.5%，检测速度达到30.8 FPS。
目标检测 特征融合 注意力机制 航拍图像 object detection feature fusion attentional mechanism aerial images
1 南京航空航天大学,a.电子信息工程学院
2 南京航空航天大学,b.中小型无人机先进技术工信部重点实验室, 南京 210000
随着基于深度学习的目标检测算法日渐成熟, 将其部署于无人机进行目标检测已经成为时下热门, 针对无人机航拍图像小目标多且易被遮挡、检测场景复杂、尺度变化大而导致检测精度不高的问题, 在提出的S-YOLOv4算法的基础上, 在原特征提取网络结构上添加SE注意力机制提高模型对有用信息的专注能力, 增强通道间注意力; 改进网络结构, 新增分辨率为160×160的检测层来细化网格以对小尺度目标进行更好的检测; 改进损失函数, 对分类损失应用类平滑标签来降低负样本的惩罚, 提高模型的泛化能力。改进算法在保证实时性的前提下比原算法的mAP提高了3.4%。
目标检测 无人机 航拍图像 注意力机制 类平滑标签 object detection UAV aerial images YOLOv4 YOLOv4 attention mechanism class smoothing label
1 天津大学微电子学院, 天津 300072
2 天津市成像与感知微电子技术重点实验室, 天津 300072
3 天津七一二通信广播股份有限公司, 天津 300457
为提高航拍图像目标检测精度以及检测速度,提出了基于自适应阈值的改进CenterNet航拍图像目标检测算法。以目标的中心点作为关键点代替锚框进行分类和边界回归,设计自适应阈值预测分支对预处理结果进行筛选优化。同时设计了编码-解码结构的主干网络,通过可变形空洞卷积结构以及基于注意力机制的卷积连接结构,将浅层空间信息以及深层语义信息进行有效提取以及特征融合,提升了输出特征图质量。并通过结构化信息丢弃和利用误检、漏检目标构建新样本的方法实现数据增强,降低误检率及漏检率。在公开数据集NWPU VHR-10上进行实验,结果表明,与基于ResNet-50的CenterNet相比,本文算法的平均精度均值提升5.17%,交并比为0.50和0.75的平均精度分别提升了3.57%和 3.61%,检测速度达45 frame·s -1,取得了良好的检测精度和实时性的平衡。
激光与光电子学进展
2021, 58(20): 2010013
1 闽南科技学院 光电信息学院，福建 泉州 362332
2 华侨大学 信息科学与工程学院，福建 厦门 361021
为了解决航拍图像受雾气影响而导致视见度降低的问题，提出一种结合双阈值定位大气光与约束优化透射率的去雾算法。针对航拍图像基本不含天空且边缘细节丰富的特点，首先通过梯度阈值和亮度阈值的双重定位限制，提高大气光强度的估计准确性；其次构造约束条件求解透射率，并利用双指数滤波获取精确值；最后根据人眼视觉对信号波动的感知定律，提出针对去雾图像的色调映射方法。仿真实验表明，恢复图像中的雾气被有效去除，颜色自然真实，图像的平均信息熵为7.659，平均梯度为16.631，均比现有算法有了一定程度的提升。研究表明，该算法对不同地貌场景的重现和细节特征的恢复非常有效，能够满足航拍图像去雾的应用需求。
图像去雾 航拍图像 透射率 大气散射模型 图像复原 image defogging aerial image transmittance atmospheric scattering model image restoration
火箭军工程大学导弹工程学院, 陕西 西安 710025
针对现有基于平视图像目标检测算法在航拍图像上检测精度不高的问题,提出一种具有动态感受野的单阶段目标检测算法。该算法采用SE-ResNeXt作为特征提取网络,在RetinaNet结构中添加bottom-up短连接通路和全局上下文上采样模块,增强了检测层特征的结构性和语义性。构造具有动态感受野的检测子网络,动态选取适当尺度的感受野特征进行目标检测。在实景航拍数据集上进行实验评测,并与相关算法作对比,结果表明改进算法在数据集上表现良好,性能指标具有明显提升,即使在光线昏暗、下视视角、斜下视视角和密集目标等场景图像中,也具有较好的检测效果。
机器视觉 目标检测 航拍图像 RetinaNet 动态感受野
国防科技大学脉冲功率激光技术国家重点实验室, 安徽 合肥 230037
针对在目标检测中现有方法检测速度慢的问题,基于航拍图像中人造物体含有大量边缘的特点,提出了一种基于梯度聚类的区域建议算法(APM)。利用目标检测算法对提取的感兴趣区域进行检测,在DOTA (Dataset for Object deTection in Aerial Images)数据集上对算法的实时性和准确率进行了测试。研究结果表明,所提算法极大地提升了目标检测算法对大尺寸、目标密集的航拍图像的检测速度,该方法的召回率较高。
图像处理 目标检测 深度学习 航拍图像 梯度聚类 区域建议方法 激光与光电子学进展
2019, 56(6): 061007
南京信息工程大学 江苏省气象探测与信息处理重点实验室,江苏 南京 210044
为实现大面阵CCD航拍图像准确快速匹配, 提出一种局部多特征哈希学习LMFH(local multi-feature hashing)方法。依据航向重叠率构建预测区域, 在预测区域内检测特征点并进行多特征描述, 以现有上万幅航拍图像为训练样本, 通过哈希函数将高维的特征描述向量映射为紧凑的二进制哈希编码, 在汉明空间通过汉明距离实现特征点的快速匹配。实验结果表明, 相对于SURF算子, LMFH算法在准确度上提高了10%, 匹配时间上减少了0.2 s。LMFH算法可更快更准确地实现CCD航拍图像的匹配。
CCD航拍图像 特征匹配 局部哈希学习 快速匹配 CCD aerial images feature matching local hash learning fast matching
中国人民解放军陆军炮兵防空兵学院, 安徽 合肥 230031
针对航拍图像中存在的厚云遮挡问题,提出了一种基于改进Criminisi算法的图像修复去厚云算法。通过改进优先权函数确定了最优待修补块,完善了最优匹配块搜索策略,减少了结构传播错误和累积错误,增大了匹配的准确度;根据像素点的亮度局部方差选择了适合的样本块尺寸,并定义了新的置信度更新函数。通过逐步细化的云检测方法和形态学开运算获得厚云区域掩模。模拟数据和真实数据实验结果表明,所提算法相比于传统Criminisi算法,补全效果更自然,能更好地修复航拍图像中的厚云区域。
图像处理 航拍图像 厚云去除 Criminisi算法 优先权模型 激光与光电子学进展
2018, 55(12): 121012
1 中国科学院 长春光学精密机械与物理研究所，吉林 长春 130033
2 中国科学院大学，北京 100049
由于航拍图像的拍摄高度远低于卫星图像拍摄高度，因此每个拍摄地点的建筑投影差大小和方向都不相同，图片畸变严重。此外，考虑到图像边缘区域的畸变程度远大于图像中心区域的畸变程度，本文提出了一种基于极坐标的Lagrange插值的逐点畸变校正方法。利用该方法在极坐标系内对单个像素点进行插值，然后根据插值结果对像素点进行校正，再将其坐标从极坐标系变换回直角坐标系，最后采用此方法在整个航拍图像内逐点进行畸变校正。实验结果表明，校正后的航拍图像畸变程度不超过3%，证明该方法不但能有效地校正畸变图像，且与传统的利用DLT线性求解畸变校正矩阵等校正方法相比具有更为广泛的适用性。
畸变校正 航拍图像 卫星图像 极坐标变换 拉格朗日插值 distortion correction aerial images satellite image polar coordinate transformation Lagrange interpolation
