1　引言

我国是农业大国，农业种植技术迅速发展，但农作物病虫害造成的减产减质问题依然较为严重。农作物病害严重影响农作物的产量和质量，病发处多为叶部，其中叶部的大斑病和锈病最为常见^［1］。及时准确地识别并控制农作物病害可以将危害降到最低，目前常见的方法还是请农业专家实地勘察，基于专业知识和经验对农作物病害情况进行辨识，这种方法不仅主观性较强，而且费时费力、效率不高，严重依赖于人为的识别和判断，不能及时发现病害，造成病害进一步恶化；另一方面由于无法精准、快速、全面地评估作物病虫害发生程度，极容易造成农药化肥的滥用，造成生态环境的破坏。

随着机器视觉、计算机数据处理等前沿技术的不断创新发展，研究人员将机器视觉技术引入农作物病虫害绿色防控技术体系中，在病虫害数据收集、预处理、检测模型研究及评估方面做了大量工作，研究者深入田间进行病害数据采集和收集网络公开数据集，如PlantVillage公开数据集包含14种农作物共26类病害叶片及部分健康农作物叶片；全国农业技术推广服务中心联合公司利用实时拍照记录，建立38种害虫样本库等^［2］。数据增强方面主要有数据补充和图像转换两种方法。模型检测识别方面主要集中于病虫害种类识别和检测两个方向。胡嘉沛等人^［3］基于YOLOv4-Tiny模型提出一种适用于嵌入式系统的柑橘木虱识别模型，该模型的柑橘木虱平均识别精度为96.16%。杨雨昂等人^［4］基于DenseNet提出了西瓜叶片病虫害识别模型，该模型在对真实环境下的西瓜叶片病虫害图片的分类准确率约为86%。刘广等人^［5］基于改进YOLOv3提出了一种葡萄叶部病虫害检测方法，模型平均检测精度可达90.4%。

目前基于深度学习技术在农作物病虫害检测领域积累了大量的研究，但是这些研究大都集中在病虫害识别上，对于叶片病害程度的检测尚缺少方法。病害程度检测可以更好地指导生产技术人员做针对性的治疗，在农药使用上做到更精准并减少使用量。本实验针对病害程度检测提出采用特征提取网络ResNet对U-Net的骨干网络进行优化，并在网络不同层之间的特征融合中引入注意力机制，以进一步提升模型的检测精度。整体模型通过对叶片的实例分割获得叶片整体分割图像及病害区域分割图像，最后通过计算病害区分割图像与农作物叶片分割图像的面积之比得出病害情况的估计值。

2　材料与方法

2.1　数据材料

本文的训练数据集采用AI Challenger 2018农作物病害图片分类比赛数据集、植物及其健康咨询平台PlantVillage的植物病害数据集中关于葡萄叶片病害的图片^［6］。建立的数据集共包含4类不同程度葡萄叶片病害的图片共9 018张。通过Labellmg图像标注工具对图像进行标注，原图及标注实例如图1所示。

图 1. 原图与标注实例

Fig. 1. Original maps and annotated instances

下载图片 查看所有图片

原数据集图片基本是叶片位置一致，但在实际作物叶片的形态上可能是多形态的。出于平衡数据集各叶片形态类型、实际生产中叶片位置的不一致和提升数据多样性的考虑，本文将原始病害数据样本按照1∶1∶1∶2的比例随机划分为4个样本集，分别采取90°旋转、180°旋转、270°旋转、上下镜像调整4种图像增强方法进行处理和扩充原数据集样本，原图片和图片标注处理的效果如图2所示，共获得9 015张增强后图像，9 018张原图，共计18 033张。

图 2. 图像增强处理效果

Fig. 2. Image enhancement processing effect

下载图片 查看所有图片

2.2　方法

2.2.1　改进的U-Net模型

U-Net网络模型因其良好的性能和可以有效地利用GPU内存而被广泛用于图像分割任务。其优势在于可在多个图像尺度上提取图像特征，基于主干网络的上采样和下采样可捕获上下文信息并突出显示前景对象的类别和位置。在多个尺度上提取的特征图随后将通过跳过连接进行合并，以结合全局特征级别和各层特征实现前景对象和细粒度对象的精细化分割。本文将U-Net网络作为叶片病虫害图像分割的基础网络，同时加入残差网络（ResNet）改造U-Net网络的主干网络，在多层特征融合上加入注意力机制提升模型的泛化能力。改进的U-Net网络模型结构如图3所示。

图 3. 改进的U-Net网络模型结构图

Fig. 3. Structure diagram of improved U-Net network model

下载图片 查看所有图片

Res-Unet网络集成了ResNet残差模块和U-Net网络，能够有效克服网络层加深造成的过度参数和梯度色散。宋蓓蓓等^［7］以Res2Net为主要模块构建RGB-高光谱图像重建方法，实验结果表明，以Res2Net为主要模块构建其骨干网络可以在更加细粒度级别提取局部和全局的图像特征。此外，新的残差学习单元在Res-Unet中易于训练，这不仅提高了模型的训练速度，而且可以使网络在不降低精度的情况下获得更少的参数。ResNet主干网络的结构如图4所示，其中“Conv块”和“标识块”都属于残差模块。“BN”指的是“批归一化”，它在整个训练过程中保持神经网络每一层输入的均匀分布。“连接”在上采样和下采样过程中拼接了相同大小的特征图，以获得更好的重建结果。

图 4. Res-Net主干网络

Fig. 4. Res-Net backbone network

下载图片 查看所有图片

2.2.2　注意力机制

为了捕获足够大的接受域从而获取语义上下文信息，在标准的CNN架构中，特征图网格逐渐被降采样，各层之间的特征图经过跳连叠加往往无法获取特征图中的重点有效信息。不断增加的特征图叠加和降采样层数设计往往无法得到较高的精度，模型的训练参数也倍数增加。为了提高精度，目前的分割框架^［8-10］依赖于额外的前对象定位模型，将任务简化为单独的定位和随后的分割步骤。在图像处理方法的研究上，如何将图像的局部特征与全局特征相融合以进一步提升模型的精度是当前改进基础模型的研究热点。姜林奇等^［11］以ResNetXt网络为主干网络，通过构建多尺度特征与通道特征融合方法用于脑肿瘤良恶性分类，实验结果表明，该方法提高了对肿瘤区域的关注度，降低对冗余信息的关注度，有效提升了脑肿瘤良恶性分类的准确率。本文将注意力机制引入基础模型中，不需要训练多个模型和大量额外的模型参数。与多阶段CNN的定位模型相比，引入注意力机制可以逐步抑制不相关背景区域的特征响应，而不需要在网络间裁剪感兴趣区域（Region of Interest，ROI）。

将注意力机制引入到改进的Res U-Net体系结构中，以扩大模型的感受野，提升U-Net模型中各层特征图通过跳过连接传递的显著特性，见图3。从特征图粗尺度中提取的信息用于门控，以消除跳过连接中不相关和噪声响应的歧义，在连接操作之前获取粗尺度的特征重点信息。此外，注意力机制在正向传递和反向传递过程中经过激活函数，将来自背景区域的梯度在向后传递期间被向下加权，允许较浅层的模型参数主要基于与给定任务相关的空间区域进行更新。注意力机制的结构如图5所示，输入特征（x^l）用注意力机制中计算的注意系数（α）进行缩放。空间区域是通过分析门控信号（g）提供的激活信息和上下文信息，从一个较粗的尺度上收集这些数据来选择的。采用三线性插值法对注意系数进行网格重采样。l－1层卷积参数的更新规则可以表述如式（1）所示：

图 5. 注意力门控结构示意图

Fig. 5. Schematic diagram of attention gating structure

下载图片 查看所有图片

网络结构中第一个梯度项使用αil进行缩放，在存在多维注意力门控的情况下，αil对应于每个网格尺度上的一个向量。在每个注意力门控中，提供互补信息进行融合，以定义跳过连接的输出。

在注意力系数的处理中，分别采用GeLU函数对其进行归一化处理。相较于GeLU函数，ReLU 等函数在零点不可微，会在某种程度上影响网络的性能^［12］。此外，ReLU 等确定性非线性函数作为神经网络的激活函数时，网络往往需要加入随机正则以提高模型的泛化性能。GeLU函数依赖于输入本身的概率统计量为激活函数提供随机正则性，同时保持输入信息，对注意门(Attention Gate，AG）参数的训练收敛性具有更好的实验结果，其形式如式（2）所示：

其中，Φx为x的高斯正态分布的累计函数。进一步地，可得该函数的具体表达为：

其中，μ和σ分别代表正态分布的均值和标准差。

2.2.3　模型训练

本文在Pytorch框架下构建模型，训练和验证环境的软硬件配置如表1所示。在数据集划分上，按照6∶3∶1比例创建训练集、验证集、测试集。在针对网络模型的训练过程中，利用迁移学习进行主干网络的参数初始化，选用ResNet50预训练模型作为主干网络及预训练模型参数，以加快主干网络的训练收敛速度。训练参数采用Adam优化器，损失函数选取交叉熵函数，权重初始学习率设置为0.001，批样本数量设置为16，最大训练迭代次数取50次。

训练过程如图6所示。通过引入ResNet50预训练模型作为主干网络，模型的收敛速度大幅提升，仅经过25次迭代，损失值和训练准确率开始趋于平稳，最终损失值稳定在约0.03，准确率提升稳定至约97%。

图 6. 模型训练过程中损失值和准确率的变化趋势

Fig. 6. Trend of loss value and accuracy during model training

下载图片 查看所有图片

3　结果分析

3.1　不同深度的U-NET模型检测结果分析

为了对改进的U-Net网络模型的检测性能做进一步的分析，本文设计了不同深度的U-Net网络模型在同一条件下进行了对比实验，即采样最大深度为256、512、1 024三种改进的模型。对比实验结果如表2所示，从对比实验的结果可知，改进的U-Net在最大采样深度为512时具备更优秀的检测表现，其检测平均精度可达90%以上，分别比改进的U-Net256、改进的U-Net1024高60.88%和15.45%；平均绝对误差达到276.3，分别比改进的U-Net256、改进的U-Net1024低500%和22.35%；其余的检测指标均比另外两个模型较优。图7显示了3个模型的实际叶片病害分割效果。从图7可以看出，改进的U-Net256模型存在欠拟合的问题，如图7Ⅰ中（a）区域未能完整地检测出大片病害区域，而改进的U-Net1024模型存在过拟合的问题。对于一些非病害区域，相较于其他模型存在误检的现象，如图7Ⅱ中（a）区域、图7Ⅲ中（a）区域所示。这在一定程度说明模型的采样深度对检测性能有一定的影响，采样深度不够则不能很好地学习感兴趣区域与背景的特征关联差异，而采样深度过大则容易过度学习感兴趣区域与背景的特征关联性，造成过拟合现象。从检测时间来看，改进的U-Net模型的单张图片检测平均时间均在1 ms以下，可以满足实际环境下的检测需求。随着采样深度的增大，模型的检测时间逐渐增加。从检测性能指标的对比以及实际检测效果对比来看，改进的U-Net模型的最大采样深度最适宜设计为512。

图 7. 不同采样深度的改进U-Net模型检测效果图

Fig. 7. Detection effect diagram of improved U-Net model at different sampling depths

下载图片 查看所有图片

3.2　模型中间结果分析

为了进一步表征模型检测性能和透视注意力机制在模型特征融合的作用，将跳过连接层（Skip+Concstenation）、门信号层（Gating Signal）和经过注意力机制（Attention Gate）处理之后的特征图抽取出来进行分析，如图8所示。随着采样深度的增加，模型表示中关于图像视觉内容的信息减少，而关于类别的信息增多。对于病虫害区域的检测，需要检测识别的有叶片整体特征以及病害区域的特征两个维度的信息，因此融合两个维度信息将进一步提升模型的检测性能。从模型各层特征图的结果来看，跳过连接用于关注叶面整体特征提取，门信号用于关注叶面局部特征提取，两种信号经过注意力机制（Attention Mechanism）处理之后，叶面全局和局部特征信息融合，使局部特征更加显现。

图 8. 不同采样深度下模型特征图

Fig. 8. Feature map of the model at different sampling depths

下载图片 查看所有图片

4　结论

本文设计了一种改进的U-Net网络模型用于叶片病虫害严重程度估计，通过不同最大采样深度的对比实验以及通过抽取并分析模型各层不同采样深度下的中间特征图，验证了改进的U-Net网络模型的性能。首先，在主干网络上选取ResNet50网络，并在训练上借助预训练模型ResNet50对主干网络的参数进行初始化，提升了网络模型的训练收敛速度，降低了计算成本。其次，引入了一种注意力机制对U-Net网络的各层特征提取及融合进行优化，以进一步提升网络模型接收关键信息的能力。通过分析模型不同采样深度下的各层特征图可以得出，注意力机制的引入使网络模型可以获取叶片整体特征以及病害区域的特征两个维度的信息，并对这两个维度信息进行较好的融合。

从对比分析实验的结果可以看出，改进的U-Net512网络模型具有最优的检测性能，平均检测精度达到90.14%，平均绝对误差达到276.3。本文设计的改进U-Net模型在评估作物病虫害发生程度上具有较好的效果，可用于智慧农业领域的病害检测设备。在实际的病虫害防治过程中，农业从业人员可以基于模型评估的作物病虫害发生程度信息来精准调控农药、化肥等的使用，一方面能尽早发现病虫害情况，降低农业损失；另一方面由于精准施药降低了农药化肥的使用，保障了农产品的质量。但本文工作都是针对实验室环境下叶片相对平整的情形，尚未经过在智慧农机装备上的经验验证，后续工作将把训练好的网络模型部署在病虫害检测设备上，通过采集现实作物病害数据进行进一步的训练，获取在实际环境中可用的网络模型，同时测试其在实际工作环境下的检测效果。