基于深度迁移学习的脉冲涡流热成像裂纹缺陷检测

郝柏桥; 范玉刚; 宋执环

doi:doi:10.3788/AOS221532

光学学报, 2023, 43 (4): 0415002, 网络出版: 2023-02-16

基于深度迁移学习的脉冲涡流热成像裂纹缺陷检测下载： 1211次

Deep Transfer Learning-Based Pulsed Eddy Current Thermography for Crack Defect Detection

论文大纲

郝柏桥 ^1,2范玉刚 ^1,2,aff*宋执环 ³

作者单位

¹ 昆明理工大学信息工程与自动化学院，云南昆明 650500

Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, Yunnan, China

² 昆明理工大学云南省人工智能重点实验室，云南昆明 650500

Yunnan Key Laboratory of Artificial Intelligence, Kunming University of Science and Technology, Kunming 650500, Yunnan, China

³ 浙江大学控制科学与工程学院，浙江杭州 310027

College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, Zhejiang, China

AI词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，仅供您参考。对于您使用本站 AI 自动生成内容所产生的一切后果，本网站及平台运营方概不承担任何商业和法律责任，请您知悉。

摘要

提出一种迁移学习与深度学习相结合的钢板裂纹缺陷检测方法。首先，通过非负矩阵分解（NMF）建立红外缺陷数据集的目标域特征空间，以余弦相似度为衡量指标选取可见光缺陷数据集的源域样本，对深度学习模型进行预训练，并将模型权重参数迁移至目标域，实现相似领域的知识迁移；然后，在YOLO v5算法基础上引入自适应空间特征融合（ASFF）模块，提高缺陷检测精度。实验结果表明：所提方法对钢板脉冲涡流热成像裂纹缺陷的检测精度达到98.6%，可实现不同长度裂纹的准确识别与定位。

Abstract

Results and Discussions The experiments are conducted on the Google Colab with a deep learning framework of Pytorch 1.7 and a Tesla T4 GPU with 16 GB RAM. In this paper, precision, recall, mean average precision (mAP), and frames rate are taken as model evaluation indicators. In the first comparison experiment, the loss function of the model with the proposed transfer learning method decreases more rapidly and the model converges more stably (Fig. 6). The testing results show that the recall and mAP of the model obtained by the proposed method are improved by 16.5% and 8.9%, respectively (Table 3), proving the effectiveness of the proposed method. In the second comparison experiment, the ASFF-YOLO v5 model has a higher mAP than the baseline, while the loss function decreases faster and the value of the loss function after stability is smaller (Fig. 7). The testing results show that although adaptive spatial feature fusion module increases floating point operations (FLOPs) and leads to a decrease in FPS, the recall of ASFF-YOLO v5 is increased by 11.7%, which effectively overcomes the defect miss detection; the mAP value is increased by 6.2% (Table 4), and the model performance is significantly improved in the recognition and localization of crack defects.1) Through the projection method of target domain feature space, images with similar defect features are selected from the source domain for pre-training the YOLO v5 defect detection model. Then target domain images are adopted to fine-tune the pre-trained model to realize knowledge transfer between similar domains, which solves the problem of insufficient defect samples during model training. The mAP of the transfer learning model is improved by 8.9%, which proves the feasibility of the proposed method.2) The capability of the YOLO v5 model to fuse multi-scale features has been enhanced by the introduction of ASFF. In the comparison experiments, the recall of ASFF-YOLO v5 is improved by 11.7%, which effectively overcomes the miss detection and verifies the accuracy of the method.However, when the crack defect is not obvious or generated in the complex infrared background, the false detection of individual defect sample types may occur. In the future, we will try to introduce attention mechanism to suppress background noise and improve the accuracy of defect detection.Objective

Many key components of mechanical equipment are made of metallic materials. During long-term service, cracks, scratches, pits, and other damages may occur on the surfaces or inside metallic materials. Under the action of the external environment and stress, the damages easily extend to the surrounding area, resulting in more harmful defects with more complicated structures. Therefore, the research on nondestructive testing for steel materials is of great significance to improve the reliability of equipment and prevent catastrophic accidents. Pulsed eddy current thermography has been successfully applied as a visual nondestructive testing method for defect detection in steel materials. The principle is that defects in steel materials affect the distribution of induced eddy currents, which in turn causes changes in the temperature field distribution. However, to ensure the safe operation of the equipment, the actual production often follows a regular cycle of equipment maintenance and component replacement. As a result, a few defect images are collected by pulsed eddy current thermography, and then the defect detection model constructed by the small number of samples suffers from inadequate training, insufficient model generalization, and low defect detection accuracy.

Methods

In this study, the construction of the defect detection model based on deep transfer learning is proposed. First, a typical defect sample database is formed by selecting part of infrared images in the target domain, and the target domain feature space is constructed by extracting the defect features through non-negative matrix factorization. Then, the source domain defect images are projected into the target domain feature space, and the images with similar defect features are selected by cosine similarity. In addition, the obtained source domain images are used for pre-training the YOLO v5 defect detection model, and the model weight parameters are transferred to the target domain to realize knowledge transfer in similar domains. Finally, the adaptively spatial feature fusion (ASFF) module is introduced to the YOLO v5 algorithm, and the ASFF-YOLO v5 model is fine-tuned with the training set samples in the target domain and validated with the test set samples to obtain the final crack defect detection model in the target domain.

Conclusions

In this study, a deep transfer learning method for crack defect detection is proposed. Under the experimental platform of this paper, for defect images with a resolution of 320 pixel×240 pixel, the mAP of this model reaches 98.6% and the detection speed is 46 frame/s, which provides references for the development of pulsed eddy current thermography technology toward high efficiency and visualization. The major contributions of this study are summarized as follows.

1　引言

裂纹是钢结构中最严重的缺陷之一，在外部环境与应力的作用下，裂纹容易向周围扩展，形成结构更复杂、危害性更大的缺陷^［1］。因此，针对钢铁材料开展无损检测研究对于提高设备可靠性，防止灾难性事故发生具有重要意义。目前，可用于钢铁表面裂纹缺陷的无损检测技术有漏磁检测、渗透检测、涡流检测等^［2］，这些技术在实际应用中各有优势，但检测结果缺乏丰富直观的缺陷信息^［3］。

脉冲涡流热成像（PECT）是一种结合电磁感应加热与红外热成像的无损检测技术，不仅具有非接触、灵敏度高的优点，而且可以直观反映缺陷的形状、大小与位置^［4］。因此，许多研究者从红外图像处理角度出发研究缺陷识别问题。文献［5］使用5种特征提取方法处理裂纹图像，采用F-score作为评价指标，验证了利用独立成分分析方法可以有效提取缺陷特征。文献［6］提出基于局部稀疏性和图像融合的方法来强化缺陷特征，抑制背景区域。文献［7］提出一种K-means聚类与图像分割算法，提取典型特征区域，有效识别红外图像序列中的缺陷特征。以上缺陷特征提取方法仅针对某一类热图像进行处理，导致检测方法只适用于特定缺陷模式，难以满足普遍适用性。

随着深度学习在图像分类与目标检测等领域的研究发展，基于数据驱动的多类缺陷模式自动识别问题成为研究热点。文献［8］使用鲁棒主成分分析突出缺陷特征，通过卷积神经网络识别缺陷图像，得到98.1%的识别准确度。文献［9］使用深度玻尔兹曼机从被测试件的红外图像中提取缺陷特征，对于导电材料腐蚀缺陷的识别准确率达到97.9%。文献［10］通过优化深度卷积神经网络结构，有效识别管道设备的3种缺陷。

上述研究通过建立深度学习模型实现缺陷的自动识别，但无法处理目标域缺陷样本不足的问题。为此，文献［11］使用模型迁移方法对深度学习检测网络进行预训练，实现对碳纤维复合材料冲击分层损伤的准确识别与定位。文献［12］使用多阶段迁移学习策略，将模型在VOC数据集上学习到的参数迁移至目标域模型，与直接建模方法相比，该方法可有效提高模型检测精度。然而，使用由非相关数据集训练的模型进行迁移时忽略了目标域缺陷形状特征，容易造成无效迁移，甚至产生“负迁移”的效果。

为实现相似领域之间的有效迁移，本文提出一种基于深度迁移学习的脉冲涡流热成像缺陷检测方法。首先，使用非负矩阵分解（NMF）建立目标域红外缺陷图像的投影特征空间，通过余弦相似度（CS）选择可见光缺陷数据集的源域图像，对YOLO v5缺陷检测模型进行预训练；然后，将预训练模型在源域数据集中学到的通用特征通过模型网络参数微调的方式迁移至目标域，实现相似领域的知识迁移；最后，在YOLO v5路径聚合网络中引入自适应空间特征融合（ASFF）模块，以优化小目标检测能力，提高缺陷检测模型在复杂红外背景中对缺陷的识别、分类与定位准确率。

2　源域样本选择

设备日常检测维护中产生损伤缺陷的钢板数量有限，难以在短时间内收集大量包含各种缺陷信息的样本，无法有效支持深度学习模型训练。迁移学习通过将源域获得的知识迁移至目标域，可解决目标域样本量不足的问题^［13］。然而，传统方法直接将图像相似度作为迁移判别依据，忽略目标域中缺陷特征的一致性，在模型训练时造成大量重复工作。为此，本文通过NMF实现目标域图像降维，保留局部缺陷特征，以余弦相似度为衡量指标选择具有相似缺陷特征的源域图像，并将其用于深度学习模型预训练。

2.1　非负矩阵分解

NMF是在矩阵中所有元素均为非负数约束条件下的矩阵分解方法^［14-15］，对于一个给定的非负矩阵V，NMF将其分解为两个低秩矩阵的乘积，即

V \approx W H

，（1）

式中：W为m×r维的基矩阵；H为r×n维的系数矩阵；r为NMF降维后保留特征的维数；m为矩阵行数；n为矩阵列数。基于欧氏距离的损失函数f_loss为

f_{l o s s} = m i n {‖V - W H‖}_{F}^{2}, s . t . W_{i j} \geq 0, H_{i j} \geq 0

，（2）

式中： ${‖\cdot‖}_{F}$ 为Frobenius范数； $W_{i j}$ 和 $H_{i j}$ 分别为矩阵W和H的元素。通过乘法迭代原则交替求解基矩阵W与系数矩阵H，更新规则如下：

\{\begin{array}{l} W_{i k} \leftarrow W_{i (k - 1)} \frac{(V H^{T})_{i (k - 1)}}{(W H H^{T})_{i (k - 1)}} \\ H_{k j} \leftarrow H_{(k - 1) j} \frac{(W^{T} {V)}_{(k - 1) j}}{(W^{T} {W H)}_{(k - 1) j}} \end{array}

，（3）

式中：i为矩阵的行数；j为矩阵的列数；k表示迭代次数。当原始矩阵V与分解后WH乘积的误差小于阈值ε时，分解结束。

2.2　余弦相似度指标

对于n维向量 $A = [a_{1}, a_{2}, \dots, a_{n}]$ 与 $B = [b_{1}, b_{2}, \dots, b_{n}]$ ，两个向量间的余弦相似度^［15］定义为

η_{C S} = \frac{〈A, B〉}{{‖A‖}_{2} \cdot {‖B‖}_{2}} = \frac{\sum_{i = 1}^{n} a_{i} b_{i}}{\sqrt[]{\sum_{i = 1}^{n} a_{i}^{2}} \sqrt[]{\sum_{i = 1}^{n} b_{i}^{2}}}

。（4）

余弦相似度用于度量向量在空间夹角方向上的相似性，夹角越小，表示两向量越相似。

2.3　迁移源域样本选择

所提出的基于非负矩阵分解与余弦相似度的源域样本选择方法的具体步骤如下：

步骤1 从目标域中选取m张p×q大小的图像作为典型缺陷样本库，并将每张图像表示为1×pq维的列向量V_k，构成矩阵V=［V₁，V₂，⋯，V_k］；

步骤2 将矩阵V通过NMF分解，得到基向量矩阵W与系数矩阵H；

步骤3 分解后的基矩阵W并非严格意义的正交矩阵，因此计算基矩阵的广义逆矩阵作为投影矩阵^［16］，计算方法为

W^{-} = (W^{T} {W)}^{- 1} W^{T}

；（5）

步骤4 计算源域样本V₀与典型缺陷样本V_k在 $W^{-}$ 上的投影系数矩阵，即

\{\begin{array}{l} H_{0} = W^{-} V_{0} \\ H_{k} = W^{-} V_{k}, k = 1,2, \dots, m \end{array}

；（6）

步骤5 采用余弦相似度作为源域与目标域图像相似性的衡量指标，若 $η_{C S} = \frac{〈H_{0}, H_{k}〉}{{‖H_{0}‖}_{2} \cdot {‖H_{k}‖}_{2}} \geq ξ$ （ξ为相似度阈值），则认为源域图像与目标域图像相似，可作为迁移源域图像对缺陷检测模型进行预训练。

3　ASFF-YOLO v5缺陷检测模型

YOLO v5在处理缺陷检测问题中具有运行速度快、灵活性高等特点，本研究采集的红外裂纹图像存在边缘模糊、背景复杂的问题，使用YOLO v5模型检测过程中原始的路径聚合网络只是将特征图转化为相同尺度并逐层相加，无法充分利用不同尺度特征图包含的信息，导致融合效果不佳，模型识别准确率较低。为此，本研究在YOLO v5网络结构中引入自适应空间特征融合模块，以提高模型对缺陷的检测识别能力。

3.1　自适应空间特征融合

ASFF通过学习自动地调整特征融合时不同尺度特征图占据的权重^［17］，其融合得到新特征图Y¹的过程如图1所示，其中X¹、X²、X³分别表示YOLO v5路径聚合网络输出尺度分别为80×80×128、40×40×256、20×20×512的特征图。融合前首先通过上采样方式将特征图X²、X³的尺度、通道数调整至与X¹相同，然后将 ${X^{1}}^{\to 1}$ 和新特征图 $X^{2 \to 1}$ 、 $X^{3 \to 1}$ 沿通道方向拼接并使用1×1的卷积核调整通道数为3，最后通过Softmax函数得到融合时的权重参数。

图 1. ASFF融合方式示意图

Fig. 1. Illustration of ASFF approach

下载图片查看所有图片

融合后特征图Y¹在空间位置 $(i, j)$ 处的向量是融合前3个特征图在 $(i, j)$ 处向量的加权融合，即

Y_{i j}^{l} = α_{i j}^{l} \cdot X_{i j}^{1 \to l} + β_{i j}^{l} \cdot X_{i j}^{2 \to l} + γ_{i j}^{l} \cdot X_{i j}^{3 \to l}

，（7）

式中： $Y_{i j}^{l}$ 表示输出特征图 $Y^{l}$ 中位置 $(i, j)$ 处的特征向量； $X_{i j}^{n \to l}$ 表示从n级调整至l级的特征图中位置 $(i, j)$ 处的特征向量； $α_{i j}^{l}$ 、 $β_{i j}^{l}$ 、 $γ_{i j}^{l}$ 表示3个不同层级特征图融合时的权重参数。在模型训练过程中通过反向传播更新学习， $α_{i j}^{l}$ 的计算公式为

α_{i j}^{l} = \frac{e^{λ_{α_{i j}}^{l}}}{e^{λ_{α_{i j}}^{l}} + e^{λ_{β_{i j}}^{l}} + e^{λ_{γ_{i j}}^{l}}}

，（8）

式中： $λ_{α_{i j}}^{l}$ 、 $λ_{β_{i j}}^{l}$ 、 $λ_{γ_{i j}}^{l}$ 分别为Softmax函数中 $α_{i j}^{l}$ 、 $β_{i j}^{l}$ 、 $γ_{i j}^{l}$ 的控制参数，并且 $α_{i j}^{l} + β_{i j}^{l} + γ_{i j}^{l} = 1$ ， $α_{i j}^{l}$ 、 $β_{i j}^{l}$ 、 $γ_{i j}^{l} \in [0,1]$ ；e为红外热像仪采集过程中的发射率参数。同理，可求得 $β_{i j}^{l}$ 、 $γ_{i j}^{l}$ 。

3.2　ASFF-YOLO v5缺陷检测模型

ASFF-YOLO v5缺陷检测模型的网络结构包括输入端、骨干网络、颈部网络与预测网络4个部分^［18］，如图2所示，Conv［input channel，output channel，kernel size，stride］表示卷积模块参数，依次为输入通道数、输出通道数、卷积核尺寸、步长，C3/SPPF［input channel，output channel］表示模块的输入通道数与输出通道数。在输入端对图像进行Mosaic数据增强，丰富背景信息^［19］；骨干网络中采用跨阶段局部网络（C3）模块提取特征，在降低模型计算量的同时保持良好的学习能力，并采用优化后的空间金字塔池化模块（SPPF）实现局部特征与全局特征融合；在颈部网络引入ASFF模块，以增强特征的融合与传递性能；预测网络输出3组不同尺度的特征图及对应的预测框。

图 2. ASFF-YOLO v5网络结构

Fig. 2. Network structure of ASFF-YOLO v5

下载图片查看所有图片

ASFF-YOLO v5模型的损失函数L由预测框回归损失、分类损失与置信度损失组成，计算公式为

L = L_{b o x} + L_{c l s} + L_{o b j}

。（9）

其中分类损失L_box与置信度损失L_cls采用交叉熵损失函数^［20］计算，预测框回归损失L_obj 采用CIOU损失函数^［21］，计算公式为

f_{C I O U} = R_{I O U} - \frac{ρ^{2}}{C^{2}} - α v

，（10）

v = \frac{4}{π^{2}} (a r c t a n \frac{w_{l}}{h_{l}} - {a r c t a n \frac{w_{p}}{h_{p}})}^{2}

，（11）

α = \frac{v}{1 - R_{I O U} + v}

，（12）

式中：R_IOU为预测框与真实框的交并比；ρ、C分别为预测框和真实框中心点距离与最小外接矩形的对角线长度；v为预测框和真实框宽高比相似度；α为v的影响因子。

4　深度迁移学习模型构建流程

所提出的用于脉冲涡流热成像钢板裂纹缺陷检测的深度迁移学习模型构建流程如图3所示。首先，选取目标域脉冲涡流热成像数据集（PECT Dataset）部分图像构成典型缺陷样本库，通过NMF进行降维，保留缺陷局部特征，构建目标域特征空间；其次，将源域缺陷数据集投影至目标域特征空间，以余弦相似度为衡量指标选取源域缺陷样本；然后，构建YOLO v5缺陷检测模型，将获取的源域样本用于模型预训练，并将预训练得到的模型权重参数迁移至目标域脉冲涡流热成像缺陷检测任务中，实现相似领域的知识迁移；最后使用目标域中训练集样本对ASFF-YOLO v5缺陷检测模型进行微调，并通过测试集样本进行验证，获取最终的目标域裂纹缺陷检测模型。

图 3. 基于深度迁移学习的缺陷检测模型构建流程

Fig. 3. Construction process of defect detection model based on deep transfer learning

下载图片查看所有图片

5　实验及结果分析

5.1　实验数据集

东北大学表面缺陷数据集^［22］（NEU-DET dataset）中包含裂纹、划痕、斑块等6种典型的热轧带钢表面缺陷类型，共1800幅缺陷图像，部分缺陷的形状外观、空间位置与本研究采集的缺陷具有相似特征，并将其作为实验的源域数据集。将脉冲涡流热成像钢板裂纹缺陷图像作为目标域数据集。用于采集钢板裂纹缺陷的脉冲涡流热成像装置如图4所示，包括涡流激励装置、螺旋型激励线圈、风冷装置、被测试件与电源。

图 4. 脉冲涡流激励装置

Fig. 4. Pulsed eddy current excitation device

下载图片查看所有图片

涡流激励装置产生的最大电压为50 V，最大电流为60 A，激励频率为60~70 kHz。螺旋形线圈由直径为8 cm的高导电空心铜管制成，红外热像仪型号为鑫思特HT-18，其分辨率为320 pixel×240 pixel，测温范围为-20~300 ℃，热灵敏度为0.07 ℃。通过涡流激励装置在螺旋型线圈中通入高频交变电流，根据电磁感应定律，被测试件表面产生感应涡流。根据焦耳定律，部分涡流转化为焦耳热，当试件中存在缺陷时，表面热量呈现不均匀分布，通过红外热像仪即可采集缺陷图像。被测试件为长宽均200 mm、厚5 mm的钢板，在试件表面加工3种不同长度的缺陷，缺陷参数及类型划分如表1所示。

表 1. 裂纹缺陷参数与类型

Table 1. Crack defect parameters and types

Crack type	Crack parameter
Crack type	Length /mm	Width /mm	Depth /mm
Crack 1	4	1.5	1，2，3，4
Crack 2	8		1，2，3，4
Crack 3	20		1，2，3，4

查看所有表

实验均在室温、无强光照射环境下进行，首先通过开关控制涡流激励装置加热待测钢板2 s，使用红外热像仪采集整个加热、冷却阶段的试件表面图像共360幅，其中加热阶段采集的图像共60幅，冷却阶段采集的图像共300幅。

采集过程中钢板表面温度为20~80 ℃，以10 ℃为步长，各温度区间内的缺陷图像数量如图5所示。采用Make sense工具标注缺陷的类型与位置信息，制作PECT数据集，并按照8∶1∶1的比例划分训练集、验证集与测试集。

图 5. 各温度范围内的缺陷图像数量

Fig. 5. Number of defect images in each temperature range

下载图片查看所有图片

在目标域脉冲涡流热成像数据集中随机选取crack 1、crack 2、crack 3这3种类别的缺陷图像各12幅，以及无缺陷（no crack）图像4幅，这40幅图像构成典型缺陷样本库。NMF分解误差ε=0.01，降维后保留特征数r=12，相似度阈值ξ=0.875^［15］，从源域数据集中选取900幅缺陷图像用于深度学习模型预训练。

5.2　评估指标

为了验证所提算法的有效性，需要对检测结果中是否存在缺陷漏检、误检以及检测速度等情况做量化评估，因此选取精确率（P）、召回率（R）、平均精度均值（mAP；η_mAP）与帧率（M_FPS）作为模型评估指标，计算公式为

η_{m A P} = \frac{1}{N} \sum_{i = 1}^{N} {η_{A P,}}_{i}

，（13）

式中：N为类别数量；η_AP为不同召回率时精确率的平均值，其值为P-R曲线的积分。P与R的计算公式为

P = \frac{n_{T P}}{n_{T P} + n_{F P}}

，（14）

R = \frac{n_{T P}}{n_{T P} + n_{F N}}

，（15）

式中：n_TP、n_FP、n_FN分别表示模型正确识别缺陷的数量、模型错误地检测到缺陷的数量与未检测到缺陷的数量。精确率P表示缺陷检测模型分类准确率，召回率R表示缺陷检出概率，用来衡量模型是否存在漏检情况，本文中η_mAP 表示R_IOU阈值取为0.5时的η_mAP值。

5.3　实验结果与分析

本实验均在Google Colab平台下进行，深度学习框架为pytorch 1.7，GPU为Tesla T4，内存为16 GB。模型训练超参数设置如表2所示，使用深度学习可视化工具Wandb检测训练过程中模型评估指标变化情况。

表 2. 模型超参数

Table 2. Hyperparameters of model

Hyperparameter	Value
Epoch	200
Batch size	8
Learning rate	0.01
Momentum for SGD	0.937
Weight decay	0.0005

查看所有表

5.3.1　迁移有效性分析

为验证所提迁移方法的有效性，设计实验对比使用迁移学习方法前后模型的损失函数变化。对照组A直接使用目标域PECT数据集对YOLO v5缺陷检测模型进行训练，实验组B先使用源域图像训练50轮得到预训练模型，在预训练模型基础上使用PECT数据集进行训练。对照组A与实验组B均在相同实验环境配置下迭代训练200轮，损失函数变化结果如图6所示。

图 6. 损失函数对比图

Fig. 6. Comparison graph of loss function

下载图片查看所有图片

从损失函数对比结果可以看出，实验组模型损失函数值首次下降到0.04时迭代训练了84轮，而对照组迭代训练了118轮，使用所提迁移学习方法的模型损失函数下降速率变快，模型收敛更稳定。在测试集上对比使用所提迁移方法前后模型评估指标变化，结果如表3所示。

表 3. 模型评估指标对比

Table 3. Comparison of model evaluation indicators

Method

P /%

R /%

η_mAP /%

M_FPS /

（frame·s^-1）

YOLO v5

97.9

69.6

83.5

Transfer-YOLO v5

98.2

86.1

92.4

查看所有表

从表3可以看出，相比直接在目标域数据集上训练模型，使用所提迁移学习方法得到的缺陷检测模型召回率提高了16.5%，mAP提高了8.9%，将预训练模型在源域中学到的知识通过模型权重参数微调的方式迁移至目标域，有效解决目标域缺陷样本不足的问题，提升了模型对缺陷的检测识别精度。

5.3.2　模型改进有效性分析

为验证ASFF-YOLO v5模型的有效性，设计对比实验，在预训练模型基础上，对照组C使用YOLO v5模型训练，实验组D使用ASFF-YOLO v5模型训练。对照组C与实验组D在相同实验环境配置下迭代训练200轮，训练过程中mAP与损失函数变化如图7所示。

图 7. mAP与损失函数的训练结果对比。（a）mAP；（b）损失函数

Fig. 7. Comparison of training results of mAP and loss. (a) mAP; (b) loss

下载图片查看所有图片

从图7可以看出：ASFF-YOLO v5模型在迭代训练33轮时mAP就达到0.9以上，最终模型收敛后mAP稳定在0.985左右；原始YOLO v5算法在训练45轮左右时mAP才上升到0.9以上，最终稳定在0.976左右。同时引入ASFF模块后模型训练过程中损失函数的下降速率更快，稳定后的损失函数值更低，说明改进模型的收敛效果更好。

在测试集上，所提ASFF-YOLO v5与原始YOLO v5检测结果对比如图8所示，图8（a）从上至下依次是输入的待检测缺陷图像，图8（b）、（c）所示分别为使用YOLO v5与所提算法检测后的结果。可以看出：所提算法检测得到的缺陷置信度均高于YOLO v5，检测结果可靠性更高；第二行输入图像存在两个损伤类型为crack 2的裂纹，YOLO v5算法只检测到一个裂纹，存在部分缺陷漏检的情况，而所提算法克服了这一问题，提高了模型在复杂红外图像背景中对裂纹缺陷的识别能力。

图 8. 检测结果对比。（a）原图；（b）YOLO v5检测结果；（c）ASFF-YOLO v5检测结果

Fig. 8. Comparison of detection results. (a) Original images; (b) results detected by YOLO v5; (c) results detected by ASFF-YOLO v5

下载图片查看所有图片

在测试集上，两种检测算法的模型评估指标对比结果如表4所示。所提算法引入自适应特征融合模块ASFF，一定程度上增加了模型运算量，平均每幅图像的检测时间增加了4.5 ms，导致帧率下降，但所提算法的召回率R提升了11.7%，有效克服了缺陷漏检问题；mAP值提升了6.2%，进一步说明ASFF-YOLO v5缺陷检测模型可增强特征融合效果，抑制背景信息干扰，对于裂纹缺陷的识别、分类以及定位能力更强。

表 4. 模型评估指标对比

Table 4. Comparison of model evaluation indicators

Model	P /%	R /%	η_mAP /%	M_FPS /（frame·s^-1）
Transfer+YOLO v5	98.2	86.1	92.4	58
Transfer+ASFF-YOLO v5	98.4	97.8	98.6	46

查看所有表

6　结论

针对脉冲涡流热成像技术中裂纹缺陷的自动识别问题，提出一种基于深度迁移学习的钢板裂纹检测方法，在本实验平台下，对于分辨率为320 pixel×240 pixel的缺陷图像，所提方法的平均检测精度达到98.6%，检测速度为46 frame/s，为脉冲涡流热成像检测技术向高效化、可视化发展提供一定参考价值。

1）通过目标域特征空间投影方法，从源域中选择具有相似缺陷特征的图像，用于YOLO v5缺陷检测模型预训练，利用目标域数据对预训练模型进行微调，实现相似领域间知识迁移，解决了模型训练过程中缺陷样本不足的问题。与直接建模方法相比，本文方法的缺陷平均检测精度提升了8.9%，证明了本文方法的可行性。

2）在YOLO v5中引入ASFF，强化模型对于多尺度特征的融合能力，增强了模型对裂纹特征提取与识别的能力，模型的召回率提升了11.7%，有效克服了缺陷漏检问题，验证了本文方法的准确性。

3）裂纹缺陷不明显且产生于复杂红外背景中时，本文方法还存在个别缺陷样本类型误检的情况，为了突出缺陷特征，抑制背景噪声干扰，后续应在ASFF-YOLO v5骨干网络中添加注意力机制，提升缺陷检测精度。

参考文献

[1] Shi Z Q, Xu X Y, Ma J J, et al. Quantitative detection of cracks in steel using eddy current pulsed thermography[J]. Sensors, 2018, 18(4): 1070.

[2] 李少波, 杨静, 王铮, 等. 缺陷检测技术的发展与应用研究综述[J]. 自动化学报, 2020, 46(11): 2319-2336.

Li S B, Yang J, Wang Z, et al. Review of development and application of defect detection technology[J]. Acta Automatica Sinica, 2020, 46(11): 2319-2336.

[3] 王卓, 张云伟, 喻勇, 等. 主动热激励式红外热成像管道缺陷深度检测[J]. 光学学报, 2018, 38(9): 0912003.

Wang Z, Zhang Y W, Yu Y, et al. Depth test of pipeline defects by active thermal excitation and infrared thermography[J]. Acta Optica Sinica, 2018, 38(9): 0912003.

[4] Hu J, Xu W P, Gao B, et al. Pattern deep region learning for crack detection in thermography diagnosis system[J]. Metals, 2018, 8(8): 612.

[5] Gao B, Li X Q, Woo W L, et al. Quantitative validation of eddy current stimulated thermal features on surface crack[J]. NDT & E International, 2017, 85: 1-12.

[6] Zhu P P, Tian L L, Cheng Y H. Improvement of defect feature extraction in eddy current pulsed thermography[J]. IEEE Access, 2019, 7: 48288-48294.

[7] HuangX G, YinC, DadrasS, et al. Adaptive rapid defect identification in ECPT based on K-means and automatic segmentation algorithm[J]. Journal of Ambient Intelligence and Humanized Computing, 2018: 1-18.

[8] Zhu P P, Cheng Y H, Banerjee P, et al. A novel machine learning model for eddy current testing with uncertainty[J]. NDT&E International, 2019, 101: 104-112.

[9] Chen Y M, Sohel F, Ali Shah S A, et al. Deep Boltzmann machine for corrosion classification using eddy current pulsed thermography[J]. Optik, 2020, 219: 164828.

[10] Liu B L, He J, Yuan X C, et al. Intelligent defect identification based on PECT signals and an optimized two-dimensional deep convolutional network[J]. Complexity, 2020, 2020: 9518945.

[11] Saeed N, King N, Said Z, et al. Automatic defects detection in CFRP thermograms, using convolutional neural networks and transfer learning[J]. Infrared Physics & Technology, 2019, 102: 103048.

[12] 高伟, 周宸, 郭谋发. 基于改进YOLOv4及SR-GAN的绝缘子缺陷辨识研究[J]. 电机与控制学报, 2021, 25(11): 93-104.

Gao W, Zhou C, Guo M F. Insulator defect identification via improved YOLOv4 and SR-GAN algorithm[J]. Electric Machines and Control, 2021, 25(11): 93-104.

[13] 李维鹏, 杨小冈, 李传祥, 等. 红外目标检测网络改进半监督迁移学习方法[J]. 红外与激光工程, 2021, 50(3): 243-250.

Li W P, Yang X G, Li C X, et al. An improved semi-supervised transfer learning method for infrared object detection neural network[J]. Infrared and Laser Engineering, 2021, 50(3): 243-250.

[14] Lee D D, Seung H S. Learning the parts of objects by non-negative matrix factorization[J]. Nature, 1999, 401(6755): 788-791.

[15] 贾旭, 孙福明. 基于孪生非负矩阵分解的车脸重识别算法[J]. 仪器仪表学报, 2020, 41(6): 132-139.

Jia X, Sun F M. Vehicle face re-identification algorithm based on Siamese nonnegative matrix factorization[J]. Chinese Journal of Scientific Instrument, 2020, 41(6): 132-139.

[16] 方蔚涛, 马鹏, 成正斌, 等. 二维投影非负矩阵分解算法及其在人脸识别中的应用[J]. 自动化学报, 2012, 38(9): 1503-1512.

Fang W T, Ma P, Cheng Z B, et al. 2-dimensional projective non-negative matrix factorization and its application to face recognition[J]. Acta Automatica Sinica, 2012, 38(9): 1503-1512.

[17] LiuS T, HuangD, WangY H. Learning spatial fusion for single-shot object detection[EB/OL]. (2019-11-21)[2022-03-05]. https://arxiv.org/abs/1911.09516.

[18] ZhuX K, LüS C, WangX, et al. TPH-YOLOv5: improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios[C]//2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), October 11-17, 2021, Montreal, BC, Canada. New York: IEEE Press, 2021: 2778-2788.

[19] 梁霄, 李家炜, 赵小龙, 等. 基于深度学习的红外目标成像液位检测方法[J]. 光学学报, 2021, 41(21): 2110001.

Liang X, Li J W, Zhao X L, et al. Infrared target imaging liquid level detection method based on deep learning[J]. Acta Optica Sinica, 2021, 41(21): 2110001.

[20] 鞠默然, 罗江宁, 王仲博, 等. 融合注意力机制的多尺度目标检测算法[J]. 光学学报, 2020, 40(13): 1315002.

Ju M R, Luo J N, Wang Z B, et al. Multi-scale target detection algorithm based on attention mechanism[J]. Acta Optica Sinica, 2020, 40(13): 1315002.

[21] 程松, 杨洪刚, 徐学谦, 等. 基于YOLOv5的改进轻量型X射线铝合金焊缝缺陷检测算法[J]. 中国激光, 2022, 49(21): 2104005.

Cheng S, Yang H G, Xu X Q, et al. Improved lightweight X-ray aluminum alloy weld defect detection algorithm based on YOLOv5[J]. Chinese Journal of Lasers, 2022, 49(21): 2104005.

[22] He Y, Song K C, Meng Q G, et al. An end-to-end steel surface defect detection approach via fusing multiple hierarchical features[J]. IEEE Transactions on Instrumentation and Measurement, 2020, 69(4): 1493-1504.

3.2　ASFF-YOLO v5缺陷检测模型

郝柏桥, 范玉刚, 宋执环. 基于深度迁移学习的脉冲涡流热成像裂纹缺陷检测[J]. 光学学报, 2023, 43(4): 0415002. Baiqiao Hao, Yugang Fan, Zhihuan Song. Deep Transfer Learning-Based Pulsed Eddy Current Thermography for Crack Defect Detection[J]. Acta Optica Sinica, 2023, 43(4): 0415002.

基于深度迁移学习的脉冲涡流热成像裂纹缺陷检测 下载： 1211次

1 引言

2 源域样本选择

2.1 非负矩阵分解

2.2 余弦相似度指标

2.3 迁移源域样本选择

3 ASFF-YOLO v5缺陷检测模型

3.1 自适应空间特征融合

图 1. ASFF融合方式示意图

Fig. 1. Illustration of ASFF approach

3.2 ASFF-YOLO v5缺陷检测模型

图 2. ASFF-YOLO v5网络结构

Fig. 2. Network structure of ASFF-YOLO v5

4 深度迁移学习模型构建流程

图 3. 基于深度迁移学习的缺陷检测模型构建流程

Fig. 3. Construction process of defect detection model based on deep transfer learning

5 实验及结果分析

5.1 实验数据集

图 4. 脉冲涡流激励装置

Fig. 4. Pulsed eddy current excitation device

表 1. 裂纹缺陷参数与类型

Table 1. Crack defect parameters and types

图 5. 各温度范围内的缺陷图像数量

Fig. 5. Number of defect images in each temperature range

5.2 评估指标

5.3 实验结果与分析

表 2. 模型超参数

Table 2. Hyperparameters of model

5.3.1 迁移有效性分析

图 6. 损失函数对比图

Fig. 6. Comparison graph of loss function

表 3. 模型评估指标对比

Table 3. Comparison of model evaluation indicators

5.3.2 模型改进有效性分析

图 7. mAP与损失函数的训练结果对比。（a）mAP；（b）损失函数

Fig. 7. Comparison of training results of mAP and loss. (a) mAP; (b) loss

图 8. 检测结果对比。（a）原图；（b）YOLO v5检测结果；（c）ASFF-YOLO v5检测结果

Fig. 8. Comparison of detection results. (a) Original images; (b) results detected by YOLO v5; (c) results detected by ASFF-YOLO v5

表 4. 模型评估指标对比

Table 4. Comparison of model evaluation indicators

6 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于深度迁移学习的脉冲涡流热成像裂纹缺陷检测下载： 1211次

1　引言

2　源域样本选择

2.1　非负矩阵分解

2.2　余弦相似度指标

2.3　迁移源域样本选择

3　ASFF-YOLO v5缺陷检测模型

3.1　自适应空间特征融合

3.2　ASFF-YOLO v5缺陷检测模型

4　深度迁移学习模型构建流程

5　实验及结果分析

5.1　实验数据集

5.2　评估指标

5.3　实验结果与分析

5.3.1　迁移有效性分析

5.3.2　模型改进有效性分析

6　结论