针对单可见光或单红外条件下的IC器件表面缺陷对比度不足，缺陷检测精度低的问题，提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题，引入拉普拉斯金字塔和特征描述符重组策略改进ORB（Oriented FAST and Rotated BRIEF）图像配准算法。在图像配准的基础上，提出NSST_VP图像融合方法，以非下采样剪切波变换（Non-Subsample Shearlet Transform， NSST）得到红外图像和已配准可见光图像的低频和高频子带，对低频子带采用视觉显著图（Visual Significance Map， VSM）加权融合规则，高频子带则采用自适应脉冲耦合神经网络（PA- Pulse Coupled Neural Network， PA-PCNN）决策融合规则，进而通过NSST逆变换得到高质量多光谱融合图像。最后，将融合图像输入YOLOv8s模型进行检测。实验结果表明，改进ORB的图像配准平均精度为87.8%，比ORB图像配准精度提高了62%，NSST_VP图像融合算法在主观视觉效果和客观评价指标上均有所提高。在缺陷检测实验中，NSST_VP融合方法的均值平均精度（mean Average Precision， mAP）达到83.15%，比单可见光、单红外缺陷图像检测的mAP分别提高了22.97%，28.31%，比双树复小波变换融合、曲线变换融合、非下采样轮廓波变换融合方法的mAP分别提高了13.14%，15.01%，20.35%。
缺陷检测 IC器件 多光谱图像融合 图像配准 非下采样剪切波变换 YOLOv8s defect detection IC device multispectral image fusion image registration non-subsample shearlet transform YOLOv8s
1 北方民族大学 计算机科学与工程学院， 宁夏银川75002
2 西安电子科技大学 电子工程学院，陕西西安710071
由于不同的照明条件、复杂的大气环境等因素，相同端元的光谱特征在图像的不同位置呈现出可见的差异，这种现象被称为端元的光谱变异性。在相当大的场景中，端元的变异性可能很大，但在适度的局部同质区内，变异性往往很小。扰动线性混合模型（Perturbed Linear Mixing Model，PLMM）在解混的过程中可以减轻端元变异性造成的不利影响，但是对缩放效应造成的变异性的处理能力较弱。为此，本文改进了扰动线性混合模型，引入了尺度因子以处理缩放效应造成的变异性，并结合超像素分割算法划分局部同质区，然后设计出基于局部同质区共享端元变异性的解混算法（Shared Endmember Variability in Unmixing，SEVU）。与扰动线性混合模型，扩展线性混合模型（Extended Linear Mixing Model，ELMM）等算法相比，所提SEVU算法在合成数据集上平均端元光谱角距离（mean Spectral Angle Distance， mSAD）和丰度均方根误差（abundance Root Mean Square Error， aRMSE）最优，分别为0.085 5和0.056 2；在Jasper Ridge和Cuprite真实数据集上mSAD是最优的，分别为0.060 3和0.100 3。在合成数据集和两个实测数据集上的实验结果验证了SEVU算法的有效性。
高光谱图像 混合像元分解 光谱变异性 扰动线性混合模型 局部同质区 hyperspectral image unmixing spectral variability perturbed linear mixing model local homogeneous region
西安理工大学机械与精密仪器工程学院激光雷达大气遥感研究中心，陕西 西安 710048
以我国高光谱遥感卫星——环境1号卫星为例，开展结合NCEP再分析资料辅助优化的6S 大气校正方法的分析。首先，考虑到高光谱图像缺少标准反射率产品的问题，利用最优化估计方法构建高光谱反射率曲线，并作为标准曲线，用于大气校正结果的验证。其次，基于6S大气校正理论，开展了大气校正的敏感性分析，确定了气溶胶光学厚度的敏感因素以及气溶胶类型、大气模式和大气温湿度对大气校正系数的敏感性。在此基础上，提出了NCEP再分析资料辅助优化的6S大气校正方法，利用NCEP再分析资料提供的大气温湿度廓线、水平能见度反演的550 nm气溶胶光学厚度等数据资料，优化6S模式的输入参数，得到准确的大气校正系数Xa、Xb和Xc，获得大气校正后的不同地物反射光谱曲线。最后，选取西安作为试验区，以水体为例，进行波谱曲线对比，利用标准曲线对校正结果进行精度评价。对比分析结果表明，NCEP再分析资料辅助优化的6S模式校正的地面反射率结果明显优于6S的大气校正结果，与标准曲线具有一致的反射率变化趋势，二者的相关系数达到0.8596，标准差低于0.0685，各波段地面反射率逐像元误差的平均值和标准差接近0.02，反映了利用NCEP辅助数据优化的6S模式对大气校正有着明显的改善作用，可提高6S 大气校正的地物反射率反演精度。
大气光学 高光谱图像 大气校正 6S 气溶胶 NCEP
杭州电子科技大学自动化学院，浙江 杭州 310018
近年来，随着深度学习的发展，基于深度学习的特征提取方法在高光谱图像领域表现出良好的发展前景。提出了一种引入注意力机制的多尺度高光谱图像特征提取方法，包括光谱特征提取网络和空间特征提取网络两个部分，并使用一种得分融合策略进行融合。在光谱特征提取网络中，引入注意力机制来缓解因光谱维数过高导致的梯度消失问题，以提取多尺度的光谱特征。在空间特征提取网络中，引入注意力机制作用于网络主干，使其关注邻域内的重要部分，帮助分支网络提取关键信息。将5种光谱特征提取方法、3种空间特征提取方法以及3种空间-光谱联合特征提取方法在3个数据集上进行对比实验，实验结果表明，所提方法能够稳定、有效地提升高光谱图像的分类准确率。
高光谱图像 长短期记忆网络 注意力机制 特征提取 深度学习 激光与光电子学进展
2024, 61(4): 0437010
昆明理工大学国土资源工程学院，云南昆明 650093
分量替换是遥感图像融合中的一种经典方法，其具有良好的空间保真度，但容易产生光谱失真，为此本文提出一种结合结构与能量信息的全色与多光谱图像融合方法。方法首先通过超球面颜色空间变换分解多光谱图像的空间和光谱信息。其次，通过联合双边滤波引入了两层分解方案。然后，将全色图像和强度分量分解为结构层和能量层。最后，提出结构层通过邻域空间频率策略融合，强度分量的纯能量层用作预融合图像的能量层。强度分量定义颜色的强度，通过将预融合结构层与强度分量的能量层结合，可以有效地结合源图像的空间和光谱信息，从而减少全色锐化图像的光谱失真。本文在 Pléiades和 QuickBird数据集上进行大量实验，并对实验结果进行定性和定量分析，结果表明所提方法与现有先进方法相比具备一定优越性。
全色锐化 超球面色彩空间 联合双边滤波 空间频率 全色图像 多光谱图像 pansharpening hypersphere color space joint bilateral filter spatial frequency panchromatic image multispectral image
1 河南科技大学农业装备工程学院, 河南 洛阳 471003 机械装备先进制造河南省协同创新中心, 河南 洛阳 471003
2 河南科技大学农业装备工程学院, 河南 洛阳 471003
3 河南科技大学农学院/牡丹学院, 河南 洛阳 471023
4 河南科技大学物理工程学院, 河南 洛阳 471023
玉米是我国重要粮食作物之一, 在我国广泛种植, 筛选优良的玉米品种是农业生产和育种的关键, 但市场上玉米品种繁多, 如何快速准确高效鉴别玉米品种从而实现玉米高产高收亟待解决。 提出了基于高光谱图像技术的极限学习机(ELM)鉴别模型, 以期解决玉米品种鉴别问题。 以八个品种玉米种子作为研究对象, 试验样本共480个, 按2∶1比例划分为训练集和测试集, 分别为320个和160个。 利用高光谱图像采集系统获取935.61～1 720.23 nm范围内的玉米种子图像, 黑白校正后选取胚芽部位大小为10×10 pixel的感兴趣区域(ROI), 提取该区域内平均光谱作为原始光谱数据。 因原始光谱两端噪声较大, 有效信息较少, 为增强信噪比, 截取949～1 700 nm范围内的玉米种子光谱波段作为有效波段进行分析。 由于数据采集过程中受无关信息干扰较强影响建模效果, 故对去噪后的光谱波段信息进行SG平滑(Savitzky-Golay smoothing)预处理, 将平滑点数设置为3, 在SG平滑基础上进行最大归一化(MN)预处理。 预处理后分别采用竞争性自适应重加权算法(CARS)、 连续投影算法(SPA)单一提取和CARS+SPA、 CARS-SPA组合筛选方法提取特征波长, 以特征波长反射率作为输入矩阵X, 预设样本类别1、 2、 3、 4、 5、 6、 7、 8作为输出矩阵Y, 利用极限学习机分别建立(SG+MN)-ELM、 (SG+MN)-CARS-ELM、 (SG+MN)-SPA-ELM、 (SG+MN)-(CARS+SPA)-ELM、 (SG+MN)-(CARS-SPA)-ELM五种玉米品种定性鉴别模型。 试验结果表明: (SG+MN)-(CARS-SPA)-ELM模型较其他四者鉴别效果最佳, 训练集和测试集平均鉴别准确率均为98.13%, 表明CARS-SPA二次筛选的特征波长变量更敏感, 能够代表所有波长信息, 且极限学习机模型有较好的定性鉴别性能, 可实现对玉米品种的鉴别。 该研究为玉米种子及其他农作物种子快速准确鉴别提供了新思路和新方法。
高光谱图像技术 玉米 品种鉴别 极限学习机 组合筛选 Hyperspectral image Maize Varieties identification Extreme learning machine Combination screening method 光谱学与光谱分析
2023, 43(9): 2928
1 中国农业大学“智慧农业系统集成研究”教育部重点实验室, 北京 100083
2 中国农业大学“智慧农业系统集成研究”教育部重点实验室, 北京 100083中国农业大学农业农村部“农业信息获取技术”重点实验室, 北京 100083
叶面积指数（LAI）是评价作物长势的重要参数, 快速、 准确、 低成本地获取作物LAI对于指导作物田间管理有重要的意义。 为了低成本获取多种作物的LAI, 基于多源信息和深度学习构建了通用的LAI预测模型。 在大豆、 小麦、 花生、 玉米四种作物的六个生长时期进行了大田实验, 以获取用于建模的多源信息。 使用航拍无人机获取作物低空可见光图像、 红边图像和近红外图像等多光谱图像信息, 此外还采集相关的一维数据信息, 包括无人机飞行姿态、 拍摄高度、 作物生长状态和环境光照。 借助深度学习出色的图像和数据处理能力建立基于复杂输入信息的LAI预测模型, 考虑到一维数据也要参与模型的训练过程, 在设计模型时, 采用了组合型网络架构。 在卷积神经网络（CNN）算法提取图像深度特征的基础上加入了LightGBM算法用于结合图像特征和一维数据实现作物LAI的最终预测。 CNN模型部分使用了VGG19, ResNet50, Inception V3和DenseNet201四种常见的结构。 为了更好地说明CNN模型提取图像特征的能力, 分析了不同图像输入下四种模型的作物分类情况。 结果表明, 以可见光、 红边和近红外图像为输入时, 四种模型的分类准确度均相较于仅有可见光图像时有所提高, 尤其是基于Inception V3和DenseNet201的两种模型分类准确率均达到99%以上, 证明了CNN模型提取多光谱图像特征的有效性。 将图像特征作为LightGBM模型的输入信息预测LAI时, 实测值与预测值的R2最大为0.819 2, 而在输入中加入一维数据信息后, 模型的R2均可达到0.9以上, 说明多源信息输入对于提高LAI预测模型的准确度有重要作用。 该研究建立的模型可以针对不同的作物进行LAI的预测, 不需要对多光谱图像进行复杂的处理, 因此, 该研究可以实现LAI的低成本、 快速预测, 同时可以获得较高的预测准确度。
叶面积指数 多光谱图像 多源信息 组合型网络架构 预测模型 Leaf area index Multispectral image Multi-source information Combined network architecture Prediction models 光谱学与光谱分析
2023, 43(12): 3862
内蒙古农业大学计算机与信息工程学院, 内蒙古 呼和浩特 010018
近年来, 基于深度学习的模型在高光谱图像(HSI)分类方面效果显著。 针对小样本数据基于深度学习的高光谱图像分类方法分类精度不高的问题, 提出一种融合卷积长短期记忆(ConvLSTM)和多注意力机制网络的高光谱图像分类方法。 该方法分三个分支: 光谱分支、 空间X分支和空间Y分支分别提取光谱特征、 空间X特征和空间Y特征, 并将三个方向的特征融合进行高光谱图像分类。 由于ConvLSTM在学习有价值的特征和对光谱数据中的长期依赖关系建模方面表现出良好的性能, 所以在光谱分支中用了3个隐藏层、 卷积核大小为3×3、 通道分别为150、 100和60提取光谱信息。 在空间X分支和空间Y分支, 采用基于DenseNet和3D-CNN的Dense空间X块和Dense空间Y块分别提取空间X特征和空间Y特征。 为了增强特征提取, 在这三个分支中还分别引入了其特征方向的注意力机制, 针对信息丰富的光谱波段设计了光谱注意块, 信息丰富的像素点分别设计了空间X和空间Y注意块。 在三个公开的高光谱数据集上进行了实验, 即Indian Pines(IP)、 Pavia University(UP)和Salinas Valley(SV)数据集; 并对比了其他五种方法: 基于RBF径向核的支持向量机模型(SVM)、 更深更广的卷积神经网络模型(CDCNN)、 快速密集光谱-空间卷积网络模型(FDSSC)、 空谱残差网络模型(SSRN)、 双分支双注意力机制网络模型(DBDA)。 实验中, IP数据集上训练样本和验证样本的大小设为总样本的3%, UP和SV数据集上训练样本和验证样本的大小设为总样本的0.5%。 该方法和所有基于深度学习的方法, 批处理大小均设置为16, 优化器设为Adam, 学习率设置为0.000 5, 并动态调整学习率。 由于SVM直接利用光谱信息进行分类, 输入样本块像素大小为1×1, 其他基于深度学习方法的输入样本块像素均设置为9×9。 实验结果表明, 该方法能充分利用高光谱图像的光谱和空间特征, 在OA、 AA、 KAPPA等评价标准上均获得了更好的效果, 其中, 该方法的OA指标比次优的算法平均提高0.12%～2.04%。
高光谱图像分类 深度学习 卷积神经网络 注意力机制 Hyperspectral image classification Deep learning ConvLSTM ConvLSTM Convolutional neural network Attention mechanism 光谱学与光谱分析
2023, 43(8): 2608
1 江苏省农业科学院农业信息研究所, 江苏 南京 210014
2 江苏省农业科学院植物保护研究所, 江苏 南京 210014
3 中国科学院地理科学与资源研究所, 北京 100101
4 江苏省农业科学院农业信息研究所, 江苏 南京 210014江苏大学农业工程学院, 江苏 镇江 212013
油菜菌核病为土传病害, 发病早期叶片无可见症状, 从植株表面很难发现。 用叶片的普通光谱图像或RGB图像无法对其进行识别。 采用高光谱图像作为监测技术, 结合深度学习模型构建油菜菌核病发病早期识别模型, 并取得了较好的识别效果。 以油菜菌核病为研究对象, 采用菌丝块接种法, 在油菜根部诱发病害。 分别于发病后第2、 5、 7、 9天采集发病油菜植株和健康植株光谱图像。 对高光谱图像去除背景、 S-G光谱曲线平滑处理、 剪切、 分割等处理后构建模型训练测试数据集。 以Resnet50深度学习模型为基础, 通过增加特征图数量, 减小第1层卷积核大小来提高模型对油菜菌核病发病早期的识别能力。 通过交叉验证、 模型结构改进前后识别能力对比、 模型泛化能力测试等, 验证了改进模型的识别能力和泛化能力。 Resnet50模型结构改进前后, 对油菜菌核病发病早期的识别正确率分别是66.79%、 83.78%和88.66%, 改进后模型的识别正确率分别提高了16.99%和4.88%, 模型的识别精度和召回率也得到很大提高。 所提出的识别模型平均识别正确率为88.66%, 精度和召回率达到83%以上, 只有对发病第7天的召回率为79.04%。 把构建的多分类模型设定为是否受病害胁迫的二分类模型, 则模型的正确率97.97%, 精度99.19%, 召回率98.02%, 同时, 模型对第9天测试集的识别正确率达到91.25%。 改进后的Resnet50模型可有效保留数据的光谱特征和局部特征, 使模型对油菜菌核病发病早期的识别能力显著提高。 该模型对发病1周内的油菜菌核病严重程度具有较好的识别能力。 对是否发病的识别能力更高, 模型识别正确率、 精度和召回率均达到97.97%以上。 模型对油菜菌核病发病早期识别具有很好识别能力和泛化能力。 因此, 该模型可综合利用高光谱图像的光谱和图像特征, 解决油菜菌核病发病早期无症状、 识别困难的问题; 也可为基于高光谱或多光谱图像的农作物病害早期识别技术的发展提供参考。
深度卷积神经网络 高光谱图像 油菜菌核病 早期诊断 Deep convolution neural network Hyperspectral imaging Sclerotinia stem rot on oilseed rape Early recognition Resnet50 Resnet50 光谱学与光谱分析
2023, 43(7): 2220
