光学 精密工程
2023, 31(18): 2687
光子学报
2022, 51(12): 1210004
西北大学信息科学与技术学院，陕西 西安 710127
在秦俑保护领域，为了降低秦俑碎片匹配及拼接的工作难度，更多的计算机辅助技术应用在破碎秦俑复原工作核心环节的碎片分类中。针对传统的秦俑碎片分类方法对碎片特征提取不充分及秦俑碎片数据采集难度较高等导致的分类准确率低下的问题，提出了一种基于数据增强的秦俑碎片深度分类模型。首先，通过条件生成式对抗网络对现有秦俑碎片数据集进行数据增强，实现秦俑数据集的扩充。其次，通过深度卷积神经网络自动且充分地提取碎片特征信息并实现有效的碎片分类效果。然后，引入convolutional block attention module（CBAM）双通道注意力机制和CutMix增强策略来显著提升深度分类模型的性能。最后，在秦俑实验数据集的对比实验结果表明，与传统的基于几何特征、尺度不变特征变换特征、形状特征、多特征融合等经典碎片分类方法相比，所提方法对秦俑碎片的分类取得了更准确的分类结果，有效降低了后续复原工作中匹配、拼接等工作的复杂度，进而提高了秦俑文物复原工作的整体效率。
图像处理 破碎秦俑复原 碎片分类 条件生成式对抗网络 双通道注意力机制 增强策略 激光与光电子学进展
2022, 59(18): 1810010
1 燕山大学信息科学与工程学院, 河北省特种光纤与光纤传感重点实验室, 河北 秦皇岛 066004
2 燕山大学电气工程学院, 河北省测试计量技术及仪器重点实验室, 河北 秦皇岛 066004
珍珠粉和珍珠层粉化学成分相似, 但是珍珠层粉的药用价值远低于珍珠粉, 并且珍珠层粉制备容易, 成本底, 常被不法商家用于冒充或掺入珍珠粉中流入市场, 谋取利益。 因此, 对珍珠粉掺伪鉴别和纯度检测具有重要的意义。 采用激光拉曼光谱结合深度学习研究珍珠粉掺伪快速鉴别和纯度分析。 将纯珍珠粉和珍珠层粉按一定比例混合, 制成珍珠粉质量百分数分别为0%, 25%, 50%, 75%, 80%, 85%, 90%, 95%与100%共9种纯度270个模拟掺伪珍珠粉样本。 然后对样本进行拉曼光谱采集, 参数设置如下: 分辨率为4.5 cm-1, 积分时间为3 000 ms, 激光功率为20 mW。 搭建了深度卷积生成式对抗神经网络(DCGAN)模型, 对样本拉曼光谱进行数据增强; 在此基础上, 结合K近邻(K-nearest neighbor)、 随机森林(random forest)、 决策树(decision tree)、 一维卷积神经网络(1D-CNN)4种分类器, 对纯度为85%, 90%, 95%与100%的小比例掺伪样本进行真伪鉴别分析; 同时, 结合一维卷积神经网络对9种纯度的珍珠粉掺伪样本建立纯度预测的定量模型。 结果表明: 基于DCGAN数据增强方法所生成的拉曼光谱, 与原始光谱相比, 在峰值信噪比和结构相似度两个评价指标上均明显优于传统数据增强方法; 在珍珠粉掺伪定性鉴别方面, DCGAN增强后的数据分别送入4种分类器, 对4种小比例掺杂样本的真伪鉴别正确率均达到100%; 在对9种掺伪纯度样本纯度检测方面, 对测试集样本, DCGAN-1DCNN方法所建纯度定量预测模型性能最优, 其决定系数R2为0.988 4, 预测均方根误差RMSEP为0.034 8, 一维卷积神经网络的损失值Loss为0.001 2, 定量模型拟合最好。 拉曼光谱结合DCGAN算法为珍珠粉掺伪鉴别及纯度检测提供一种快速简便的方法。 深度卷积生成式对抗网络的数据增强方法在光谱分析技术领域具有重要的研究意义和应用价值。
生成式对抗网络 拉曼光谱 深度学习 珍珠粉掺伪 一维卷积神经网络 Generative adversarial network Raman spectroscopy Deep learning Adulteration of pearl powder One-dimensional convolutional neural networks
1 西安工业大学兵器科学与技术学院，陕西 西安 710021
2 西安工业大学电子信息工程学院，陕西 西安 710021
3 兰州交通大学电子与信息工程学院，甘肃 兰州 730070
针对红外图像和可见光图像配准过程中模态和尺度差异影响下特征点难配准的问题，提出了一种基于模态转换结合鲁棒特征的红外图像和可见光图像配准算法。首先，利用生成对抗网络从可见光图像中生成相应的伪红外图像；其次，通过加速鲁棒特征（SURF）算法提取红外图像的特征点位置信息结合改进的鲁棒特征描述子（PIIFD）实现特征描述；然后，基于Hilbert空间重构的核方法，建立了单高斯鲁棒点匹配模型，在存在异常值的情况下估计映射；最后，采用加权最小二乘法估计变换类型实现图像配准。实验结果表明，与其他算法相比，所提算法可提高红外图像和可见光图像尺度差异大情况下的配准精度，有效配准率达到96%且鲁棒性强。
图像处理 图像配准 鲁棒点匹配 特征提取 生成式对抗网络 激光与光电子学进展
2022, 59(4): 0410013
1 新疆油田公司采气一厂, 新疆 克拉玛依 834000
2 北京邮电大学 计算机学院, 北京 100876
针对目前石化危险品装车过程中海量监控视频图像人为处理效率低下、模糊图像识别率低等问题, 提出一种基于生成式对抗网络(GAN)和卷积神经网络(CNN)与极限学习机(ELM)相结合的监控模糊图像智能修复及检测方法。首先, 使用深度学习网络作为目标检测框架, 利用GAN网络中生成器与判别器间的零和博弈对模糊图像进行复原, 得到清晰完整的作业图像; 其次, 利用CNN自适应学习图像特征的能力, 对修复后的图像进行自主特征提取; 最后, 将提取的图像特征输入ELM分类器中进行目标识别与分类, 判断作业过程是否存在违规行为。试验结果表明: 所提方法图像修复速度快, 视觉效果自然, 且目标识别准确率高, 具有很好的泛化能力。
模糊图像 图像复原 生成式对抗网络 卷积神经网络 极限学习机 blurred image image restoration generative adversarial network convolutional neural network extreme learning machine
上海海洋大学信息学院, 农业农村部渔业信息重点实验室, 上海 201306
受水下强光衰减或散射的影响,水下图像存在颜色失真、模糊和细节丢失等问题,严重影响水下目标识别的精度。针对上述问题,提出一种面向浑浊水域的图像增强方法和YOLOv4算法相结合的方案。首先使用改进的带颜色恢复的多尺度Retinex算法增强水下图像,然后采用全卷积生成式对抗网络实现图像颜色校正和细节恢复,最后通过YOLOv4算法对增强后的图像进行鱼目标识别。结果表明,所提出的图像增强方法与YOLOv4算法相结合方案的平均准确率(mAP)可达到89.59%,与原始图像经训练得到的平均准确率相比提高了7.46%,检测速度达到了90 frame/s。
成像系统 水下视频 图像增强 全卷积生成式对抗网络 YOLOv4 目标识别 激光与光电子学进展
2021, 58(22): 2211002
辽宁工程技术大学电子与信息工程学院, 辽宁 葫芦岛 125105
基于深度学习的单图像超分辨率重建方法已经比较完善,重建图像具有较高的客观评价值或具有较好的视觉效果,但是图像感知效果和客观评价值不能均衡提升。针对这一问题,提出一种融合注意力的生成式对抗网络单图像超分辨率重建方法。首先去掉残差网络中会破坏图像原本的对比度信息、影响图像生成质量的批归一层,其次是构造注意力卷积神经网络残差块,可有效地在特征映射中进行自适应特征细化,改善重建结果在大尺度因子下缺乏高频信息和纹理细节的问题,最后构造像素损失函数,使用鲁棒性较好的Charbonnier损失函数替代均方差损失函数,用总变差正则项平滑训练结果。实验结果表明,在4倍放大因子下,与其他方法在Set5、Set14、Urban100、BSDS100测试集上进行测试比较,本文方法峰值信噪比平均值提升2.88 dB,结构相似性平均值提升0.078。实验数据和效果图表明,该方法主观上具有丰富的细节,客观上具有较高的峰值信噪比值和结构相似性值,实现了视觉效果和客观评价指标值的均衡提升。
图像处理 超分辨率 残差学习 卷积神经网络 注意力 生成式对抗网络 激光与光电子学进展
2021, 58(20): 2010012
1 湖南农业大学信息与智能科学技术学院, 湖南 长沙 410128
2 湖南农业大学资源环境学院, 湖南 长沙 410128
已有的土壤有机质含量估测模型大多以光谱特征波段、 线性和非线性模型为基础, 较少考虑通过拓展样本数据建模集来提高模型的估测能力。 为进一步提高土壤有机质高光谱反演模型估测精度, 提出利用生成式对抗网络(GAN)合成伪高光谱数据和有机质含量的动态估测模型。 选取湖南省长沙市及周边区域的水稻田为研究对象, 采集土样和实测高光谱数据(350~2 500 nm), 室内化学测定有机质含量。 以高光谱数据和有机质含量为基础, 利用生成式对抗网络生成等量新数据, 结合原始数据建模集组成增强建模集。 在GAN正式训练中, 每轮训练完成后, 设置4个观测点(对应增强建模集中含50, 100, 150和239个生成样本), 动态构建交叉验证岭回归(RCV)、 偏最小二乘回归(PLSR)和BP神经网络(BPNN)土壤有机质含量估测模型(分别简称GAN-RCV, GAN-PLSR和GAN-BPNN), 并在相同测试集上实施模型评估。 实验结果表明: (1)原始数据建模集上拟合的估测模型中, 交叉验证岭回归表现最佳, 决定系数(R2)和均方根误差(RMSE)分别为0.831 1和0.189 6; (2)GAN的150轮正式训练中, 增强建模集上动态构建的GAN-RCV, GAN-PLSR和GAN-BPNN模型性能显著提高, 具体表现为: GAN-RCV的R2取得最大值0.890 9(RMSE 0.153 7)、 最小值0.850 5 (RMSE 0.18)与平均值0.868 7(RMSE 0.168 6), 最大R2比建模集上拟合的RCV提高了7.2%(RMSE降低了18.9%), GAN-PLSR获得R2最大值0.855 4(RMSE 0.176 9)、 最小值0.727 0 (RMSE 0.243 2)与平均值0.780 1 (RMSE 0.217 7), 最大R2比建模集上拟合的PLSR提高了20.6%(RMSE降低了29.5%), GAN-BPNN表现最佳, R2取得最大值0.905 2(RMSE 0.143 3)、 最小值0.801 7(RMSE 0.207 3)与平均值0.868 1(RMSE 0.168 6), 最大R2比建模集上拟合的BPNN提高了30.8%(RMSE降低了44.5%); (3)随着增强建模集中生成样本数量增加, 模型精度提升效果呈先升后降趋势, 4个观测点中第3个观测点的模型性能提升最显著。 充分的实验表明: 基于GAN动态构建的有机质含量估测模型显著改善了模型预测性能。 依据测试集上的评估结果, 可择优使用最佳模型进行后续土壤有机质含量估测。
有机质 高光谱 生成式对抗网络 交叉验证岭回归 BP神经网络 Soil organic matter Hyperspectral data Generative adversarial networks Ridge cross validation BP neural network 光谱学与光谱分析
2021, 41(6): 1905
1 福州大学 物理与信息工程学院, 福建 福州 350108
2 晋江市博感电子科技有限公司, 福建 晋江362200
缺陷检测在TFT阵列工艺的良率提高中起着重要作用,传统的人工识别效率低, 新兴的目标检测卷积神经网络在缺陷标注上需要耗费大量人力。为了实现TFT阵列缺陷自动检测的同时尽可能地减少人工成本, 提出了一种基于生成对抗网络和形态学重建的TFT阵列缺陷检测方法, 该方法中用于训练网络的数据集无需人工标注, 解决了人工标注成本大的问题。该方法首先通过AttentionGAN网络得到TFT阵列的显著性图, 接着选定显著性图中显著性最低的像素为种子点, 得到缺陷标记图像与缺陷掩膜图像, 进而进行二值形态学重建的区域生长, 最后得到缺陷的检测。该方法对于TFT阵列缺陷的二分类能达到F1分数为0.94的结果, 为TFT阵列的自动化缺陷检测提出了一种新思路。
缺陷检测 生成式对抗网络 形态学重建 TFT-LCD TFT-LCD defect detection generative adversarial networks morphological reconstruction
