1 西安交通大学机械工程学院航空发动机研究所,陕西 西安 710049
2 空军工程大学航空动力系统与等离子体技术全国重点实验室,陕西 西安 710038
激光粉末床熔融增材制造面临质量稳定一致性的挑战,铺粉质量是影响成形件质量的重要因素。近年来,计算机视觉在铺粉缺陷监测中的应用表现突出,但其性能却受到标注数据数量不足的限制。针对这一问题,笔者设计了基于视觉大模型分割一切模型(SAM)的铺粉缺陷分割模型(PSAM)。针对SAM预训练参数的知识迁移问题,引入Adapter模块实现参数微调;针对铺粉分割任务中类别信息的需求,改进了SAM中的掩码解码器;针对工业场景中人工提示难的问题,提出了自动提示生成器,实现了视觉提示的自动生成。在训练样本数量仅为50的情况下,PSAM表现出了良好的分割性能,平均交并比(mIoU)可达到65.02%,相较于Deeplab v3和U-Net分别提升了8.52个百分点和5.31个百分点。本研究展示了视觉大模型在增材过程监控中的应用价值和应用潜力。
激光技术 激光粉末床熔融 过程监测 视觉大模型 缺陷检测 中国激光
2024, 51(10): 1002319
南京航空航天大学 电子信息工程学院,江苏南京211106
太阳能电池片(Photovoltaic, PV)表面缺陷检测是光伏组件生产中不可或缺的流程。基于机器视觉的自动缺陷检测方法因其高精度、实时性、低成本等优点得到了广泛应用。本文综述了基于机器视觉的太阳能电池片表面缺陷检测方法的研究进展。首先,阐述了太阳能电池片表面成像方式,列举了典型缺陷类型。然后重点分析了基于传统机器视觉算法及基于深度学习算法进行太阳能电池片表面缺陷检测的原理。将传统机器视觉算法分为图像域分析法、变换域分析法进行综述;从无监督学习、有监督学习和弱监督及半监督学习三个方面分别概述了近几年来基于深度学习的太阳能电池片表面缺陷检测的研究现状。对太阳能电池片表面缺陷检测各种典型方法进一步细分归类和对比分析,总结了每种方法的优缺点。随后,介绍了9种太阳能电池片表面缺陷图像数据集及缺陷检测性能评价指标。最后,系统总结了太阳能电池片缺陷检测常见的关键问题及其解决方法,对太阳能电池片表面缺陷检测的未来发展趋势进行了展望。
太阳能电池 缺陷检测 机器视觉 深度学习 检测网络 solar cells defect detection machine vision deep learning detection network
1 南昌航空大学轻合金加工科学与技术国防重点学科实验室,江西 南昌 330063
2 南昌航空大学工程训练中心,江西 南昌 330063
3 江西宝航新材料有限公司,江西 南昌 330200
采用激光选区熔化成形了Inconel 625合金试样,研究了激光功率和扫描速度对合金孔隙的影响,制备了存在大尺寸圆形孔隙缺陷(key-hole模式下)、小尺寸圆形孔隙缺陷(conduction模式下)和不规则孔隙缺陷的拉伸试样,通过815 ℃高温拉伸试验探讨了孔隙类型对合金抗拉强度及塑性的影响。结果表明:孔隙类型对合金815 ℃高温抗拉强度及塑性有较大影响。其中,不规则孔隙缺陷试样的高温抗拉强度为374 MPa,塑性为5%;大尺寸圆形孔隙缺陷试样的高温抗拉强度为364 MPa,塑性为31%;小尺寸圆形孔隙缺陷试样的高温抗拉强度为363 MPa,塑性为37%。当不规则孔隙向小尺寸圆形孔隙转变时,高温抗拉强度约降低3%;当大尺寸圆形孔隙向小尺寸圆形孔隙转变时,高温塑性约提升19%。在各类815 ℃高温拉伸试样断口纵截面中均发现了大量的沿晶界扩展的高温失塑裂纹,这是合金失塑的主要原因。孔隙缺陷处的位错塞积造成较大的应力集中,阻挡了位错滑移和合金的塑性变形,使合金更易发生断裂。
激光技术 激光选区熔化 Inconel 625合金 孔隙缺陷 高温失塑行为 中国激光
2024, 51(10): 1002323
针对单可见光或单红外条件下的IC器件表面缺陷对比度不足,缺陷检测精度低的问题,提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题,引入拉普拉斯金字塔和特征描述符重组策略改进ORB(Oriented FAST and Rotated BRIEF)图像配准算法。在图像配准的基础上,提出NSST_VP图像融合方法,以非下采样剪切波变换(Non-Subsample Shearlet Transform, NSST)得到红外图像和已配准可见光图像的低频和高频子带,对低频子带采用视觉显著图(Visual Significance Map, VSM)加权融合规则,高频子带则采用自适应脉冲耦合神经网络(PA- Pulse Coupled Neural Network, PA-PCNN)决策融合规则,进而通过NSST逆变换得到高质量多光谱融合图像。最后,将融合图像输入YOLOv8s模型进行检测。实验结果表明,改进ORB的图像配准平均精度为87.8%,比ORB图像配准精度提高了62%,NSST_VP图像融合算法在主观视觉效果和客观评价指标上均有所提高。在缺陷检测实验中,NSST_VP融合方法的均值平均精度(mean Average Precision, mAP)达到83.15%,比单可见光、单红外缺陷图像检测的mAP分别提高了22.97%,28.31%,比双树复小波变换融合、曲线变换融合、非下采样轮廓波变换融合方法的mAP分别提高了13.14%,15.01%,20.35%。
缺陷检测 IC器件 多光谱图像融合 图像配准 非下采样剪切波变换 YOLOv8s defect detection IC device multispectral image fusion image registration non-subsample shearlet transform YOLOv8s
1 西安工业大学 电子信息工程学院,陕西 西安 710021
2 西安工业大学 发展规划处,陕西 西安 710021
3 西安工业大学 机电工程学院,陕西 西安 710021
为解决X射线底片焊缝缺陷分割精度不高、边界信息模糊的问题,本文提出一种改进的Dilated_Pooling_Unet(DP_Unet)网络分割模型。首先,在上下采样间加入编解码信息提取模块DP_block,旨在下采样后最大限度地保留原始缺陷语义信息及减少连续卷积与池化操作造成的损失;然后,在模型中添加GAM注意力机制重点关注焊缝缺陷部分,有效提升缺陷特征通道的学习能力,降低背景噪声影响;最后,提出一种融合二元交叉熵和DiceLoss的混合损失函数,用于解决网络训练时不均衡的正负类数据问题。实验数据集由公开数据集GDX-ray缺陷数据集组成。实验结果表明,本文所提方法在GDX-ray数据集上有较好表现,Dice值达到了93.45%,与基线算法相比均有显著提高。该方法具有良好的分割性能,优于传统的分割算法,有效提高了底片焊缝缺陷分割精度。
焊接检测 缺陷分割 DP_Unet 注意力机制 welding detection defect segmentation DP_Unet attention mechanism
1 河北工业大学人工智能与数据科学学院,天津 300130
2 河北省控制工程技术研究中心,天津 300130
针对光伏(PV)电池缺陷检测中存在的数据不均衡、缺陷尺度不一和背景纹理复杂多变等因素导致的误检、漏检问题,提出一种基于YOLOv8的缺陷检测算法YOLOv8-EL。首先,使用GauGAN进行数据增强,处理数据集的类内和类间不均衡的问题,提高模型泛化能力,降低模型过拟合的风险;其次,在主干网络和特征融合网络之间嵌入上下文聚合模块,自适应地融合不同层次的语义信息,对齐局部特征,减少微小微弱缺陷信息的丢失,抑制无关背景信息的干扰;最后,构建多注意力检测头以替换解耦头,引入不同的注意力机制细化分类和定位任务,提取空间和通道层面上的关键信息,减少特征混淆。实验结果表明,该模型在扩充后的PV电池EL数据集上的平均精度达到89.90%,模型参数量为13.13×106,在提升精度的基础上兼顾了后续部署时轻量化的要求。在PASCAL VOC数据集上进行泛化性实验,证明了改进算法的泛化性能。
缺陷检测 YOLOv8 生成对抗网络 特征融合 注意力机制 解耦头 激光与光电子学进展
2024, 61(8): 0812008
强激光与粒子束
2024, 36(1): 012001