针对单可见光或单红外条件下的IC器件表面缺陷对比度不足，缺陷检测精度低的问题，提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题，引入拉普拉斯金字塔和特征描述符重组策略改进ORB（Oriented FAST and Rotated BRIEF）图像配准算法。在图像配准的基础上，提出NSST_VP图像融合方法，以非下采样剪切波变换（Non-Subsample Shearlet Transform， NSST）得到红外图像和已配准可见光图像的低频和高频子带，对低频子带采用视觉显著图（Visual Significance Map， VSM）加权融合规则，高频子带则采用自适应脉冲耦合神经网络（PA- Pulse Coupled Neural Network， PA-PCNN）决策融合规则，进而通过NSST逆变换得到高质量多光谱融合图像。最后，将融合图像输入YOLOv8s模型进行检测。实验结果表明，改进ORB的图像配准平均精度为87.8%，比ORB图像配准精度提高了62%，NSST_VP图像融合算法在主观视觉效果和客观评价指标上均有所提高。在缺陷检测实验中，NSST_VP融合方法的均值平均精度（mean Average Precision， mAP）达到83.15%，比单可见光、单红外缺陷图像检测的mAP分别提高了22.97%，28.31%，比双树复小波变换融合、曲线变换融合、非下采样轮廓波变换融合方法的mAP分别提高了13.14%，15.01%，20.35%。
缺陷检测 IC器件 多光谱图像融合 图像配准 非下采样剪切波变换 YOLOv8s defect detection IC device multispectral image fusion image registration non-subsample shearlet transform YOLOv8s
昆明理工大学国土资源工程学院，云南昆明 650093
分量替换是遥感图像融合中的一种经典方法，其具有良好的空间保真度，但容易产生光谱失真，为此本文提出一种结合结构与能量信息的全色与多光谱图像融合方法。方法首先通过超球面颜色空间变换分解多光谱图像的空间和光谱信息。其次，通过联合双边滤波引入了两层分解方案。然后，将全色图像和强度分量分解为结构层和能量层。最后，提出结构层通过邻域空间频率策略融合，强度分量的纯能量层用作预融合图像的能量层。强度分量定义颜色的强度，通过将预融合结构层与强度分量的能量层结合，可以有效地结合源图像的空间和光谱信息，从而减少全色锐化图像的光谱失真。本文在 Pléiades和 QuickBird数据集上进行大量实验，并对实验结果进行定性和定量分析，结果表明所提方法与现有先进方法相比具备一定优越性。
全色锐化 超球面色彩空间 联合双边滤波 空间频率 全色图像 多光谱图像 pansharpening hypersphere color space joint bilateral filter spatial frequency panchromatic image multispectral image
1 中国农业大学“智慧农业系统集成研究”教育部重点实验室, 北京 100083
2 中国农业大学“智慧农业系统集成研究”教育部重点实验室, 北京 100083中国农业大学农业农村部“农业信息获取技术”重点实验室, 北京 100083
叶面积指数（LAI）是评价作物长势的重要参数, 快速、 准确、 低成本地获取作物LAI对于指导作物田间管理有重要的意义。 为了低成本获取多种作物的LAI, 基于多源信息和深度学习构建了通用的LAI预测模型。 在大豆、 小麦、 花生、 玉米四种作物的六个生长时期进行了大田实验, 以获取用于建模的多源信息。 使用航拍无人机获取作物低空可见光图像、 红边图像和近红外图像等多光谱图像信息, 此外还采集相关的一维数据信息, 包括无人机飞行姿态、 拍摄高度、 作物生长状态和环境光照。 借助深度学习出色的图像和数据处理能力建立基于复杂输入信息的LAI预测模型, 考虑到一维数据也要参与模型的训练过程, 在设计模型时, 采用了组合型网络架构。 在卷积神经网络（CNN）算法提取图像深度特征的基础上加入了LightGBM算法用于结合图像特征和一维数据实现作物LAI的最终预测。 CNN模型部分使用了VGG19, ResNet50, Inception V3和DenseNet201四种常见的结构。 为了更好地说明CNN模型提取图像特征的能力, 分析了不同图像输入下四种模型的作物分类情况。 结果表明, 以可见光、 红边和近红外图像为输入时, 四种模型的分类准确度均相较于仅有可见光图像时有所提高, 尤其是基于Inception V3和DenseNet201的两种模型分类准确率均达到99%以上, 证明了CNN模型提取多光谱图像特征的有效性。 将图像特征作为LightGBM模型的输入信息预测LAI时, 实测值与预测值的R2最大为0.819 2, 而在输入中加入一维数据信息后, 模型的R2均可达到0.9以上, 说明多源信息输入对于提高LAI预测模型的准确度有重要作用。 该研究建立的模型可以针对不同的作物进行LAI的预测, 不需要对多光谱图像进行复杂的处理, 因此, 该研究可以实现LAI的低成本、 快速预测, 同时可以获得较高的预测准确度。
叶面积指数 多光谱图像 多源信息 组合型网络架构 预测模型 Leaf area index Multispectral image Multi-source information Combined network architecture Prediction models 光谱学与光谱分析
2023, 43(12): 3862
光子学报
2023, 52(11): 1110001
1 武汉纺织大学计算机与人工智能学院, 湖北 武汉 430200
2 湖北省服装信息化工程技术研究中心, 湖北 武汉 430200
3 湖北省文物颜色信息数字化与虚拟再现工程技术研究中心, 湖北 武汉 430079
光谱是颜色信息的指纹, 也是表征物质物化属性的重要特征, 对于颜色的高保真复制和物质的精准识别分析具有重要应用价值。 基于光谱重建的多光谱成像技术利用成像系统拍摄物体表面数字图像, 并通过光谱重建计算得到物体表面的多光谱图像, 能够克服传统RGB图像对成像条件的依赖性, 更加精细化地表征识别物体。 该技术相对于价格昂贵的高光谱相机而言, 能够有效提升多光谱图像的空间分辨率和获取效率, 降低设备成本。 然而, 无论是基于机器学习还是基于深度学习的光谱重建方法, 在光谱重建应用时均对图像的曝光变化敏感, 即光谱重建方法在一种曝光水平下建立的光谱重建模型, 无法直接在另一曝光水平下进行光谱重建应用, 否则将导致重建光谱曲线的形状特征偏离真实光谱, 制约着光谱重建面向光照强度易变和光照不均性场景的应用。 针对现有光谱重建方法对图像曝光水平变化敏感的问题, 论文提出了一种基于根多项扩展的自适应加权光谱重建方法, 首先利用根多项式对样本rawRGB图像数据进行扩展, 并利用伪逆法建立光谱重建模型, 以解决模型对曝光水平变化的敏感性, 然后在光谱不变特征空间构建自适应加权矩阵, 以进一步提升光谱重建精度。 研究以理论实验和具体实验样本为基础, 首先对现有光谱重建方法对曝光变化的敏感性进行分析, 然后将该方法与现有同类型光谱重建方法进行对比, 最后探讨了加权策略对该方法的影响。 实验结果表明, 现有先进光谱重建方法均对曝光水平变化敏感, 而该方法能有效对抗曝光水平变化, 且光谱重建的光谱均方根误差(RMSE)和色差(ΔE*ab)显著低于现有同类方法。 此外, 在光谱不变特征空间构建自适应加权矩阵, 对于该方法提升光谱重建精度至关重要。 研究成果对开放场景下的高精度光谱重建具有重要应用价值。
光谱分析 光谱重建 多光谱图像 根多项式 光谱不变特征 Spectral analysis Spectral reconstruction Multispectral imaging Root-polynomial Spectral invariant feature 光谱学与光谱分析
2023, 43(11): 3330
北京航空航天大学 仪器科学与光电工程学院，北京 100191
相比传统的多光谱成像探测，偏振多光谱成像探测方法可以探测目标表面的粗糙度、含水量等更多信息，给目标检测带来了很大便利，但目前主要用于目标探测，尚未广泛应用于目标分类。BP神经网络是目前常用的一种典型神经网络，可以建立从端到端的映射，在训练样本集足够大的前提下，训练完毕且效果良好的神经网络是一种高效、精确、快速的工具。首先，利用基于旋转偏振片和滤波片的偏振光谱成像探测系统获取了典型地物的偏振多光谱图像，对图像进行了预处理，建立了数据集；其次，在该数据集上进行了神经网络的训练，训练后的神经网络可以处理未知的偏振多光谱图像，并实现了对几种典型地物的分类；最后，对神经网络分类的效果进行了评价，并与其他几种典型分类方法的效果进行了对比，发现神经网络方法具有更好的分类精度和效果，相比典型的最大似然分类算法，其总体分类精度可从91.7%提升至94.2%，Kappa系数可从0.851提升至0.898。研究结果表明：基于神经网络的偏振光谱图像分类方法对于改进和优化现有的偏振多光谱图像数据处理方法具有一定的研究意义。
偏振多光谱图像 图像分类 BP神经网络 polarized multispectral image image classification BP neural network 红外与激光工程
2022, 51(6): 20220249
1 黑龙江八一农垦大学信息与电气工程学院, 黑龙江 大庆 163319
2 黑龙江八一农垦大学园艺园林学院, 黑龙江 大庆 163319
为解决大豆冠层在近地端的多光谱图像边缘灰度不均, 目标与背景之间灰度差别小, 难以准确高效地获取大豆冠层目标区域的难题, 将多光谱成像处理技术与经典图像分割方法有机融合, 提出基于多光谱图像处理技术的大豆冠层提取方法。 以东北大豆为对象, 通过Sequoia多光谱相机采集绿光、 近红外、 红光、 红边和可见光五类大豆多光谱图像, 采用高斯平滑滤波法对原始大豆多光谱图像进行预处理, 分析多光谱图像中大豆冠层和背景的灰度直方图分布特性, 在此基础上利用迭代法、 Otsu法和局部阈值法提取原大豆多光谱图像中冠层区域, 并以图像形态学开运算处理细化和扩张背景, 避免图像区域内干扰噪声对大豆冠层识别效果的影响, 同时以有效分割率、 过分割率、 欠分割率、 信息熵以及运行时间等为监督指标, 对大豆冠层多光谱图像识别模型进行效果评价。 大豆冠层识别模型中迭代法可以有效分割近红外和可见光大豆冠层图像, 有效分割率分别为97.81%和87.99%, 对绿光、 红光和红边大豆冠层图像分割效果较差, 有效分割率低于70%; Otsu法和局部阈值法可以有效分割除红光波段的其余四种多光谱大豆冠层图像, 且有效分割率均在82%以上; 三种算法对红光大豆冠层图像的有效分割率均低于20%, 未达到较好效果。 在原始多光谱图像中应用迭代法、 Otsu法和局部阈值法提取大豆冠层图像与标准图像的信息熵平均值波动幅度分别为: 0.120 1, 0.054 7和0.059 8, 其中Otsu法和局部阈值法较小, 表明了对于大豆冠层多光谱图像识别中两种算法的有效性。 该算法中Otsu法和局部阈值法均可以有效提取绿光、 近红外、 红边和可见光等多光谱的大豆冠层图像, 二者较为完整地保留了大豆冠层信息, 其中Otsu法实时性能较局部阈值法更好。 该成果为提取农作物冠层多光谱图像提供理论依据和技术借鉴。
大豆冠层 多光谱图像 图像处理 识别模型 算法评价 Soybean canopy Multispectral image Image processing Recognition model Algorithm evaluation 光谱学与光谱分析
2022, 42(11): 3568
1 西安建筑科技大学信息与控制工程学院，陕西 西安 710055
2 陕西省文物保护研究院，陕西 西安 710075
颜料的分类识别是古代壁画进行保护修复的基础，多光谱成像方法能够无损快速地获取壁画颜料的光谱图像数据并进行分析。传统利用卷积神经网络进行特征提取的算法中连续的卷积和池化操作会丢失壁画多光谱图像的部分特征信息，使得图像细节无法重建，导致分类图像边界不平滑。针对该问题，提出了一种基于多尺度特征融合的三维空洞卷积残差神经网络对壁画多光谱图像进行颜料分类。首先，在卷积核中引入空洞结构提高卷积核的感受野来提取不同尺度信息，避免池化操作所导致的部分特征丢失；其次，使用特征融合的方法融合不同尺度的特征图，增加多尺度特征的结构层次；最后，引入残差学习模块避免网络层数加深导致的梯度消失问题，重建完整的边缘信息。实验结果表明，所提方法在模拟壁画多光谱图像数据集上的总体精度和平均精度分别达到了98.87%和96.89%，与各对照组相比，不仅具有更好的分类精度，而且得到了边界更清晰的分类图像。
光谱学 多光谱图像分类 空洞卷积 多尺度特征融合 残差学习 激光与光电子学进展
2022, 59(22): 2230001
