1 中国科学院光电信息处理重点实验室，辽宁 沈阳 110016
2 中国科学院沈阳自动化研究所，辽宁 沈阳 110016
3 中国科学院机器人与智能制造创新研究院，辽宁 沈阳 110169
4 中国科学院大学，北京 100049
5 航天恒星科技有限公司，北京 100086
近年来，红外成像系统在工业、安防、遥感等领域获得了广泛的应用，但由于制造工艺及成本制约，红外系统的分辨率仍然较低。基于深度神经网络的单帧图像超分辨率重建技术是提高红外图像分辨率的有效方法，获得了广泛研究，并在仿真图像上取得了显著进展，但应用于实际场景图像时容易出现伪影或图像模糊等现象。造成这种性能差异的主要原因是目前方法大多假定造成图像退化的模糊核是空间一致的，然而实际红外光学系统不可避免地存在像差、热离焦等，由此造成的图像模糊的模糊核并非空间一致的。针对这一问题，提出了一种非盲模糊核估计方法，通过采集特定的靶标图像，并设计模糊核估计网络，求解空间非一致模糊核；设计基于图像分块的超分辨率重建方法，将图像块和对应区域的模糊核一起输入非盲超分辨率重建网络进行子块图像重建，再通过子块合并和重叠区域图像融合，得到最终的高分辨率图像。实验结果表明，光学系统自身引起了模糊核随空间位置缓慢变化，在实验室条件下标定模糊核并基于图像分块进行超分辨率重建的方法可显著提高红外图像超分辨率重建的效果。
超分辨率重建 空间非一致模糊 模糊核估计 红外图像 super-resolution reconstruction spatially variant blur blur kernel estimation infrared image 红外与激光工程
2024, 53(2): 20230252
1 南京航空航天大学 计算机科学与技术学院，江苏 南京 211106
2 中国航天科工飞航技术研究院，北京 100074
红外图像去雾是指通过去除雾霾、烟雾等介质对红外图像的影响，恢复红外成像系统对比度和视觉质量的过程。红外图像凭借全天时、不受光照限制等优势，在**、安防、医疗、能源勘探等领域广泛地应用。然而，由于大气介质对红外图像的干扰，这些应用往往受到限制，因此红外图像去雾成为一个重要的研究领域。近年来，随着计算机视觉、深度学习等技术的不断发展，红外图像去雾技术也取得了一系列重要进展，为红外图像应用的发展提供了强有力的支持。根据红外图像去雾过程中所依赖数据的不同，将现有的红外图像去雾方法划分为多信息融合和单帧图像处理两大类，其中多信息融合因为需要额外的信息来帮助图像恢复而使其应用受到限制；而目前基于单帧图像处理的主流方案包括图像增强和图像重建两个发展方向。对各种分类的代表算法进行了简要梳理，并分析了其原理、优势及不足。最后，对红外图像去雾的发展趋势做出了预测。该工作既可以帮助初学者快速了解该领域的研究现状和发展趋势，也可作为其他研究者的参考资料。
红外图像去雾 多信息融合 单帧图像处理 infrared image dehazing multi-information fusion single-frame image processing 红外与激光工程
2024, 53(2): 20230416
1 北京邮电大学 电子工程学院，北京 100876
2 中国电波传播研究所 第三研究部，山东 青岛 266108
针对小目标在整幅图像中占比很低，且目标周围存在大量杂波，提出了一种基于联合方向梯度（Associated Directional Gradient，ADG）和均值对比度（Mean Contrast，MC）的红外弱小目标检测算法。该算法由两个模块组成：ADG利用红外弱小目标的高斯分布模型，将单一方向的梯度与一个相邻方向上的梯度相加组成新的联合梯度特征，增强真实目标、抑制背景杂波的同时能够消除高亮边缘对目标检测效果的影响；MC融入方向信息来计算目标的多方向对比度，选用多方向对比度的最小值抑制结构噪声，并将均值滤波的思想引入对比度的计算，抑制背景中的孤立噪声，进一步降低检测的虚警率。在实际红外图像上的实验结果表明，该算法在增强目标信噪比和抑制背景噪声方面，能够取得较好效果。
红外图像 目标检测 联合方向梯度 均值对比度 infrared image target detection associated directional gradient mean contrast
中国人民解放军63963部队, 北京 100072
受限于材料和制造工艺, 红外图像中普遍存在着条纹非均匀性, 其严重影响了图像的成像效果, 进而对后续的目标识别、检测等工作造成干扰。典型的最小均方误差(LMS)算法在一定程度上可以抑制条纹非均匀性, 但其场景适应性差, 存在拖尾和“鬼影”现象。提出一种改进型的最小均方误差(LMS)自适应滤波算法对图像进行处理, 利用双边滤波和最速下降法快速获取准确的校正参数, 将前一帧算出的校正结果作为后一帧的初始输入值, 提升算法的准确性, 同时算法还增加了边缘检测模块以保留图像细节。采用不同场景下非制冷型探测器的真实红外图像, 从主观和客观两个方面对比了本算法和经典LMS算法, 结果表明, 提出的算法可以很好地保护图像细节, 也具有良好的场景适应性。
红外图像 条纹非均匀性 最小均方误差 边缘检测 自适应滤波 infrared thermal image stripe nonuniformity least-mean-square error edge detection adaptive filtering
光子学报
2023, 52(12): 1210003
南昌工学院信息与人工智能学院, 江西南昌 330108
为了在去除红外图像的脉冲噪声的同时, 有效保持和恢复图像的边缘细节, 提出了基于灰度特征和众数原则的迭代双边中值滤波方法。此方法根据脉冲噪声的灰度特征以及众数原则, 将取最小和最大值、而在邻域的灰度分布上孤立的像素识别为噪声。根据基于空间距离和灰度相似的加权系数, 对邻域中的无噪像素与已经去噪恢复的像素进行频次加权, 用频次加权中值作为噪声像素的估计值。其中, 以迭代遍历的方式执行去噪处理, 充分利用前次遍历处理的结果, 以去除高密度噪声。实验数据证明, 此方法去噪所得的 PSNR和 EPI值以及视觉效果均优于现有方法, 具有更好的去噪性能。
脉冲噪声 红外图像 加权频次 双边中值滤波 边缘保持指数 impulse noise, infrared image, weighted frequency,
红外图像中的人体摔倒检测不受环境光照射的影响, 在智能安防领域有着重要的研究意义和应用价值。现有的摔倒检测方法没有充分考虑人体关键点的位置变化规律, 容易对类摔倒动作造成误检。针对这一问题, 本文提出一种基于改进 Alphapose的红外图像摔倒检测算法。该算法使用 Yolo v5s目标检测网络, 在提取人体目标框输入姿态估计网络的同时, 对人体姿态进行直接分类, 再结合人体骨架关键点的位置信息和姿态特征进行判断。通过实验证明, 该算法在准确度和实时性方面都有良好的表现。
红外图像 摔倒检测 关键点 目标检测 infrared images, fall detection, key points, objec
1 杭州电子科技大学自动化学院, 浙江杭州 310018
2 中国电子科技集团第 28研究所, 江苏南京 210007
红外摄像机虽然能够全天候 24 h工作, 但是相比于可见光摄像机, 其获得的红外图像分辨率和信杂比低, 目标纹理信息缺乏, 因此足够的标记图像和进行模型优化设计对于提高基于深度学习的红外目标检测性能具有重要意义。为解决面向监控应用场景的红外目标检测数据集缺乏的问题, 首先采用红外摄像机采集了不同极性的红外图像, 基于自研图像标注软件实现了 VOC格式的图像标注任务, 构建了一个包含行人和车辆两类目标的红外图像数据集( Infrared-PV), 并对数据集中的目标特性进行了统计分析。然后采用主流的基于深度学习的目标检测模型进行了模型训练与测试, 定性和定量分析了 YOLO系列和 Faster R-CNN系列等模型对于该数据集的目标检测性能。构建的红外目标数据集共包含图像 2138张, 场景中目标包含白热、黑热和热力图 3种模式。当采用各模型进行目标检测性能测试时, Cascade R-CNN模型性能最优, mAP0.5值达到了 82.3%, YOLO v5系列模型能够兼顾实时性和检测精度的平衡, 推理速度达到 175.4帧/s的同时 mAP0.5值仅降低 2.7%。构建的红外目标检测数据集能够为基于深度学习的红外图像目标检测模型优化研究提供一定的数据支撑, 同时也可以用于目标的红外特性分析。
红外图像 数据集 监控应用 深度学习 基准测试 infrared image, dataset, surveillance application,
1 南方电网科学研究院有限责任公司直流输电技术国家重点实验室, 广东广州 510663
2 云南电网有限责任公司电力科学研究院, 云南昆明 650000
针对现有的金属氧化物避雷器(Metal Oxide Arrester, MOA)红外图像故障检测方法存在识别精度低、检测速度较慢的问题, 提出一种基于改进 YOLOv3的 MOA红外图像故障检测方法。首先, 以 Darknet19网络代替 YOLOv3原始的 Darknet53网络, 并在特征学习时针对样本中不同 MOA长宽比例, 通过 K-means聚类算法对 MOA图像中的目标帧进行分析, 重新聚类样本中心锚点框, 得到合适的锚框数目和大小。最后, 利用改进 YOLOv3模型完成 MOA红外图像故障检测。实验结果表明, 改进的 YOLOv3模型识别精度达到 96.3%, 识别速度为 6.75 ms。
金属氧化物避雷器 深度学习 红外图像 K-means聚类 metal oxide arrester, YOLOv3, deep learning infrared image YOLOv3 K-means clustering
天津理工大学电气工程与自动化学院天津市复杂系统控制理论与应用重点实验室, 天津 300384
为了使无人农机在复杂环境的生产过程中及时感知环境信息, 避免安全事故发生, 本文提出了一种 PIE(Poisson Image Editing)和 CGAN(Conditional Generative Adversarial Networks)相结合的红外与可见光图像融合算法。首先, 利用红外图像及其对应的红外图像显著区域对 CGAN网络进行训练; 然后, 将红外图像输入训练好的网络, 即可得到显著区域掩膜; 在对其进行形态学优化后进行基于 PIE的图像融合; 最后, 对融合结果进行增强对比度处理。该算法可以实现快速图像融合, 满足无人农机实时感知环境的需求, 并且该算法保留了可见光图像的细节信息, 又能突出红外图像中行人和动物等重要信息, 在标准差、信息熵等客观指标上表现良好。
红外图像 图像融合 生成对抗网络 infrared image, image fusion, generative adversari
