1 中国科学院光电信息处理重点实验室，辽宁 沈阳 110016
2 中国科学院沈阳自动化研究所，辽宁 沈阳 110016
3 中国科学院机器人与智能制造创新研究院，辽宁 沈阳 110169
4 中国科学院大学，北京 100049
5 航天恒星科技有限公司，北京 100086
近年来，红外成像系统在工业、安防、遥感等领域获得了广泛的应用，但由于制造工艺及成本制约，红外系统的分辨率仍然较低。基于深度神经网络的单帧图像超分辨率重建技术是提高红外图像分辨率的有效方法，获得了广泛研究，并在仿真图像上取得了显著进展，但应用于实际场景图像时容易出现伪影或图像模糊等现象。造成这种性能差异的主要原因是目前方法大多假定造成图像退化的模糊核是空间一致的，然而实际红外光学系统不可避免地存在像差、热离焦等，由此造成的图像模糊的模糊核并非空间一致的。针对这一问题，提出了一种非盲模糊核估计方法，通过采集特定的靶标图像，并设计模糊核估计网络，求解空间非一致模糊核；设计基于图像分块的超分辨率重建方法，将图像块和对应区域的模糊核一起输入非盲超分辨率重建网络进行子块图像重建，再通过子块合并和重叠区域图像融合，得到最终的高分辨率图像。实验结果表明，光学系统自身引起了模糊核随空间位置缓慢变化，在实验室条件下标定模糊核并基于图像分块进行超分辨率重建的方法可显著提高红外图像超分辨率重建的效果。
超分辨率重建 空间非一致模糊 模糊核估计 红外图像 super-resolution reconstruction spatially variant blur blur kernel estimation infrared image 红外与激光工程
2024, 53(2): 20230252
1 南京航空航天大学 计算机科学与技术学院，江苏 南京 211106
2 中国航天科工飞航技术研究院，北京 100074
红外图像去雾是指通过去除雾霾、烟雾等介质对红外图像的影响，恢复红外成像系统对比度和视觉质量的过程。红外图像凭借全天时、不受光照限制等优势，在**、安防、医疗、能源勘探等领域广泛地应用。然而，由于大气介质对红外图像的干扰，这些应用往往受到限制，因此红外图像去雾成为一个重要的研究领域。近年来，随着计算机视觉、深度学习等技术的不断发展，红外图像去雾技术也取得了一系列重要进展，为红外图像应用的发展提供了强有力的支持。根据红外图像去雾过程中所依赖数据的不同，将现有的红外图像去雾方法划分为多信息融合和单帧图像处理两大类，其中多信息融合因为需要额外的信息来帮助图像恢复而使其应用受到限制；而目前基于单帧图像处理的主流方案包括图像增强和图像重建两个发展方向。对各种分类的代表算法进行了简要梳理，并分析了其原理、优势及不足。最后，对红外图像去雾的发展趋势做出了预测。该工作既可以帮助初学者快速了解该领域的研究现状和发展趋势，也可作为其他研究者的参考资料。
红外图像去雾 多信息融合 单帧图像处理 infrared image dehazing multi-information fusion single-frame image processing 红外与激光工程
2024, 53(2): 20230416
1 北京邮电大学 电子工程学院，北京 100876
2 中国电波传播研究所 第三研究部，山东 青岛 266108
针对小目标在整幅图像中占比很低，且目标周围存在大量杂波，提出了一种基于联合方向梯度（Associated Directional Gradient，ADG）和均值对比度（Mean Contrast，MC）的红外弱小目标检测算法。该算法由两个模块组成：ADG利用红外弱小目标的高斯分布模型，将单一方向的梯度与一个相邻方向上的梯度相加组成新的联合梯度特征，增强真实目标、抑制背景杂波的同时能够消除高亮边缘对目标检测效果的影响；MC融入方向信息来计算目标的多方向对比度，选用多方向对比度的最小值抑制结构噪声，并将均值滤波的思想引入对比度的计算，抑制背景中的孤立噪声，进一步降低检测的虚警率。在实际红外图像上的实验结果表明，该算法在增强目标信噪比和抑制背景噪声方面，能够取得较好效果。
红外图像 目标检测 联合方向梯度 均值对比度 infrared image target detection associated directional gradient mean contrast 光子学报
2023, 52(12): 1210003
南昌工学院信息与人工智能学院, 江西南昌 330108
为了在去除红外图像的脉冲噪声的同时, 有效保持和恢复图像的边缘细节, 提出了基于灰度特征和众数原则的迭代双边中值滤波方法。此方法根据脉冲噪声的灰度特征以及众数原则, 将取最小和最大值、而在邻域的灰度分布上孤立的像素识别为噪声。根据基于空间距离和灰度相似的加权系数, 对邻域中的无噪像素与已经去噪恢复的像素进行频次加权, 用频次加权中值作为噪声像素的估计值。其中, 以迭代遍历的方式执行去噪处理, 充分利用前次遍历处理的结果, 以去除高密度噪声。实验数据证明, 此方法去噪所得的 PSNR和 EPI值以及视觉效果均优于现有方法, 具有更好的去噪性能。
脉冲噪声 红外图像 加权频次 双边中值滤波 边缘保持指数 impulse noise, infrared image, weighted frequency,
1 杭州电子科技大学自动化学院, 浙江杭州 310018
2 中国电子科技集团第 28研究所, 江苏南京 210007
红外摄像机虽然能够全天候 24 h工作, 但是相比于可见光摄像机, 其获得的红外图像分辨率和信杂比低, 目标纹理信息缺乏, 因此足够的标记图像和进行模型优化设计对于提高基于深度学习的红外目标检测性能具有重要意义。为解决面向监控应用场景的红外目标检测数据集缺乏的问题, 首先采用红外摄像机采集了不同极性的红外图像, 基于自研图像标注软件实现了 VOC格式的图像标注任务, 构建了一个包含行人和车辆两类目标的红外图像数据集( Infrared-PV), 并对数据集中的目标特性进行了统计分析。然后采用主流的基于深度学习的目标检测模型进行了模型训练与测试, 定性和定量分析了 YOLO系列和 Faster R-CNN系列等模型对于该数据集的目标检测性能。构建的红外目标数据集共包含图像 2138张, 场景中目标包含白热、黑热和热力图 3种模式。当采用各模型进行目标检测性能测试时, Cascade R-CNN模型性能最优, mAP0.5值达到了 82.3%, YOLO v5系列模型能够兼顾实时性和检测精度的平衡, 推理速度达到 175.4帧/s的同时 mAP0.5值仅降低 2.7%。构建的红外目标检测数据集能够为基于深度学习的红外图像目标检测模型优化研究提供一定的数据支撑, 同时也可以用于目标的红外特性分析。
红外图像 数据集 监控应用 深度学习 基准测试 infrared image, dataset, surveillance application,
1 南方电网科学研究院有限责任公司直流输电技术国家重点实验室, 广东广州 510663
2 云南电网有限责任公司电力科学研究院, 云南昆明 650000
针对现有的金属氧化物避雷器(Metal Oxide Arrester, MOA)红外图像故障检测方法存在识别精度低、检测速度较慢的问题, 提出一种基于改进 YOLOv3的 MOA红外图像故障检测方法。首先, 以 Darknet19网络代替 YOLOv3原始的 Darknet53网络, 并在特征学习时针对样本中不同 MOA长宽比例, 通过 K-means聚类算法对 MOA图像中的目标帧进行分析, 重新聚类样本中心锚点框, 得到合适的锚框数目和大小。最后, 利用改进 YOLOv3模型完成 MOA红外图像故障检测。实验结果表明, 改进的 YOLOv3模型识别精度达到 96.3%, 识别速度为 6.75 ms。
金属氧化物避雷器 深度学习 红外图像 K-means聚类 metal oxide arrester, YOLOv3, deep learning infrared image YOLOv3 K-means clustering
天津理工大学电气工程与自动化学院天津市复杂系统控制理论与应用重点实验室, 天津 300384
为了使无人农机在复杂环境的生产过程中及时感知环境信息, 避免安全事故发生, 本文提出了一种 PIE(Poisson Image Editing)和 CGAN(Conditional Generative Adversarial Networks)相结合的红外与可见光图像融合算法。首先, 利用红外图像及其对应的红外图像显著区域对 CGAN网络进行训练; 然后, 将红外图像输入训练好的网络, 即可得到显著区域掩膜; 在对其进行形态学优化后进行基于 PIE的图像融合; 最后, 对融合结果进行增强对比度处理。该算法可以实现快速图像融合, 满足无人农机实时感知环境的需求, 并且该算法保留了可见光图像的细节信息, 又能突出红外图像中行人和动物等重要信息, 在标准差、信息熵等客观指标上表现良好。
红外图像 图像融合 生成对抗网络 infrared image, image fusion, generative adversari
1 长沙理工大学设计艺术学院, 湖南长沙 410114
2 长沙理工大学电气与信息工程学院, 湖南长沙 410114
针对红外图像增强过程中容易饱和、细节丢失等问题, 提出一种参数自设定的双直方图均衡化方法。根据灰度级累积概率密度黄金比例值将原始图像划分为两个独立的子图像。结合原始图像曝光度和子图像灰度级区间信息, 对每个子图像的直方图进行多尺度自适应加权校正。基于校正后的直方图, 对每个子图像分别作均衡化映射变换, 最后合并子图像获得增强图像。在红外图像公开数据集 INFRARED100上进行的测试显示, 与亮度保持双直方图均衡化(Brightness Preserving Bi-Histogram Equalization, BBHE)、带平台限制的双直方图均衡化(Bi-histogram Equalization with a Plateau Limit, BHEPL)、基于曝光度的双直方图均衡化(Exposure based Sub-image Histogram Equalization, ESIHE)方法相比, 所提方法增强的图像具有合适的平均对比度和更大的平均信息熵, 在峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)、结构相似度(Structural Similarity, SSIM)、绝对平均亮度偏差(Absolute Mean Brightness Error, AMBE)指标上平均提升至少 17.2%、4.0%、56.2%。实验结果表明, 所提方法对不同亮度特征的红外图像都有良好的适应性, 可有效增强红外图像对象和背景之间的对比度, 在噪声抑制、亮度和细节保持等方面优于同类方法。
红外图像处理 对比度增强 直方图均衡化 亮度保持 自适应加权校正 infrared image processing, contrast enhancement, h
1 中国长江三峡集团有限公司科学技术研究院, 北京 100038
2 郑州航空工业管理学院智能工程学院, 河南郑州 450015
针对无人机拍摄叶片红外图像背景冗余信息较多、拼接精度不高等问题, 本文提出一种基于形态学改进 Chan-Vese分割与局部特征匹配的红外风机叶片图像拼接算法, 首先, 对图像进行中值滤波降噪, 使用形态学运算改进基于 Chan-Vese模型的水平集算法, 生成表达主体的掩膜。基于掩膜去除冗余背景提取局部 Harris特征点; 对掩膜进行二次形态学腐蚀处理, 抑制边界锯齿像素上的伪特征点; 最后, 使用暴力匹配及随机抽样一致(Random Sample Consensus, RANSAC)算法筛选出有效匹配点对, 计算单应性矩阵实现匹配拼接。与传统图像分割下 Harris拼接算法相比, 本文改进后的算法拼接精度有明显提高, 在不同的测试场景下显示出较强鲁棒性。
风力发电机叶片 红外图像拼接 水平集 形态学运算 Harris特征点 wind turbine blades, infrared image stitching, lev
