基于改进的ResNet34网络模型的苹果叶病害识别

彭 勇，乔印虎，姚 杰

(1.安徽工程大学 机械工程学院，安徽 芜湖 241000；
2.安徽科技学院 机械工程学院，安徽 凤阳 233100)

苹果富含多种营养成分，包括多种维生素和人体必需微量元素，还含有多种植物活性成分，如植物甾醇、β-胡萝卜素和酚类物质[1]。为了加强苹果产业的竞争力，降低病虫害对苹果产业造成的损失，使其能够生产出品质更加优良的苹果，目前，机器视觉技术的应用已渗透到农业生产的各个领域，对其的研究也取得了很大进展[2]。机器视觉技术是运用光学设备获取真实图像，通过图像处理技术进行图像分析获取所需信息或控制机械执行装置完成预设操作的一种非接触式测量技术[3]。

崔艳丽等[4]以色调H作为颜色特征参数的研究域，以色调直方图统计特征参数的计算和百分率直方图区间值特征作为区分病变叶片与正常叶片的重要依据。通过色调区间来对正常叶片和病害叶片进行识别，需要提取较多的参数。温芝元等[5]通过分水岭算法提取虫害边界，通过边界提取、阈值分割，得到二值图像，再将其导入到小波神经网络中，进而识别碰柑树病虫害，平均识别准确率为87%。分水岭算法虽然对简单的特征分割效果较好，但是对植物病害特征等较为复杂的场景进行分割时，会由于对图像中的噪声极其敏感而导致分割效果不佳。

由此可知，基于传统机器视觉的模型对植物病虫害识别的准确率不高，在图像特征处理阶段具有一定的主观性。深度学习的逐渐兴起为植物病虫害识别带来了新的方法。郭小清等[6]在AlexNet的基础上，通过修改网络结构，使模型对番茄叶部病害及每种病害早中晚期的平均识别准确率达到 92.7%；
蒲秀夫等[7]通过将VGG16用改进后的符号函数对权重和激活值二值化，以符号函数和尺度因子α代替浮点型权值参数，以提高模型的计算速度；
宋程勇等[8]在GoogleNet的基础上进行改进,通过减少Inception模块数量,增加卷积层和池化层，用改进后的模型对苹果病虫害数据集进行识别。

本研究基于ResNet34进行改进[9-13]，用苹果叶病害数据集对模型进行训练，并通过消融实验评价模型的性能。

苹果叶病害数据集[14]主要在晴天光线良好的条件下获取，部分图像在阴雨天进行采集，不同的采集条件进一步增强了数据集的多样性。

数据集包括斑点落叶病、褐斑病、花叶病、灰斑病以及锈病5种常见的苹果叶面病害图像数据，然后经过翻转、对比度调整等数据增强，对数据集进行扩充，其中苹果叶病害数据集病害图片示例如图1所示，表1给出了每个病害类别的图片数量。

图1 苹果叶病害数据集示例图

表1 苹果叶病害数据集统计表

2.1 ResNet34模型

目前，卷积神经网络在图像分类[15-18]、目标检测[19-21]、图像分割[22]等领域独树一帜。ResNet网络由何凯明等[9]提出，它极大地提高了模型的识别能力，同时很好地解决了卷积神经网络层数加深后出现的梯度消失、梯度爆炸和网络退化问题。其核心之处在于提出了残差结构，具体如图2所示。

首先输入通道数为3，大小为224×224的图像，经过第一层卷积层之后，通道数变为64，大小变为112×112;然后经过最大池化层，通道数不变，大小减少为一半；
然后进入到残差部分，残差部分有4个残差网络，依次对应着3、4、6、3个残差结构，第一个残差网络里面的残差结构都为实线，后面3个残差网络里的第一个残差结构为虚线，其余的为实线残差结构；
最后将第4个残差网络与平均池化层和全连接层连接。ResNet34模型如图3所示。

2.2 ResNet34模型的改进

(1)卷积核的替换。从图3可以看到，ResNet34第一层卷积层的卷积核大小为7×7，虽然大尺寸卷积核能够提取更多和更复杂的特征信息，但会存在较多的参数，导致计算速度缓慢。卷积核参数量的计算如式(1)所示:

Params=N×(w×h×F)×c,

(1)

式中,Params表示卷积核的参数总数;N表示卷积核的个数;w、h、c分别表示卷积核的宽、高和通道数；
F表示输入的特征图的大小。由式(1)可知，1个7×7卷积核的参数量为49 cF,改为3个3×3卷积核后，参数量为27 cF,减少了大约45%，模型改动如图4所示。

图2 残差结构

图3 ResNet34模型

卷积神经网络各输出特征图中的每个像素点，在原始输入图片的映射区域的大小，称为感受野(Receptive Field)，其计算如式(2)所示:

(2)

(2)残差结构的优化。原始ResNet34中，残差网络中的残差结构是两个卷积核大小为3×3的卷积层(见图2)。为减少ResNet34网络模型参数，故对残差结构进行优化，将其改为1×1、3×3和1×1串联的瓶颈结构，其中，由3×3卷积层实现下采样，后面的1×1实现上采样，具体结构如图5所示。

图4 卷积核替换 图5 残差结构优化

(3)shortcut结构的优化。由图2b可知，主分支的输出与shortcut输出特征矩阵的形状不相同时，捷径分支必须要经过一个卷积核大小为1×1，步长为2的卷积层，即经过图2b所示虚线残差结构，从而可以进行相加的操作。我们对这个虚线残差结构进行改进，添加一个平均池化层来取代之前的卷积核大小为1×1的卷积层的下采样功能。添加平均池化层不仅可以去除冗余信息，对特征进行压缩，降低网络复杂度，而且可以防止过拟合或者欠拟合，提高网络模型的识别能力。

(4)残差网络block数的改变。由ResNet34、ResNet101、ResNet152模型结构可知，各层残差网络block数分别为[3,4,6,3]、[3,4,23,3]和[3,8,36,3]，第一层残差网络中的block数与最后一层相同，第3层最多。在本文中，将会把ResNet34中的各层残差网络的block数改为[1,2,12,1]，将主要的特征提取任务集中在第3个残差网络上，从而可以达到降低模型参数量，提高计算速度的作用。

3.1 实验环境

本研究实验训练环境在Windows 11家庭中文版操作系统下，基于处理器11th Gen Intel(R) Core(TM) i7-11800H @ 2.30 GHz,16 GB运行内存，使用的显卡为NVIDIA GeForce RTX 3060 Laptop GPU,采用深度框架tensorflow 2.6.0,配合Cuda 11.6进行训练，模型训练过程设置学习率为0.001，批数量设置为16，训练epoch数设置为50，采用Adam优化器更新模型参数。

3.2 实验评价指标

本文使用混淆矩阵中的识别准确率(Accuracy)、平均精确率(Ave-Precision)、平均召回率(Ave-Recall)和平均综合评价指标(Ave-F-Measure)这4个指标来评价网络的性能。其中，识别准确率、平均精确率、平均召回率、平均综合评价指标如式(3)～(6)所示:

(3)

(4)

(5)

(6)

式中，M为苹果叶病害分类个数；
P表示正样本；
N表示负样本；
T为预测正确；
F为预测错误；
TP表示模型将正样本预测为正样本的个数；
TN表示模型将负样本预测为负样本的个数；
FP表示模型将负样本预测为正样本的个数；
FN表示模型将正样本预测为负样本的个数。有如下关系：P=TP+FN,N=TN+FP。Precision和Recall为单个类别对应的精确率和召回率。当式(6)中的α=1时，为平均F1分数。

3.3 实验设计

本研究将采用3∶1∶1的比例，将其划分为训练集、验证集和测试集。为了证明ResNet34网络的优越性能，选取了AlexNet、VGG16、GoogLeNet、ResNet18，通过相同数据集进行对比实验，结果如表2所示。由表2可知，ResNet34网络模型的识别准确率最好，达到了96.2%，具有更强的识别能力，故选用ResNet34作为本研究识别苹果叶病害的基础模型，并对其结构进行优化改进，得到性能更加优良的残差网络模型。

表2 不同基础模型识别结果对比

3.4 实验结果与分析

为确定本研究改进的ResNet34模型中小卷积核替换大卷积核、残差结构优化、shortcut结构优化、残差网络block数的改变对于模型的优化能力，其中小卷积核替换大卷积核已经由理论公式证明，下面将通过消融实验证明其他改进方法的实际效果。

(1)残差结构优化的消融实验。为验证ResNet34模型在残差结构优化后的实际效果，故进行残差结构优化的消融实验。将残差结构中的两个3×3卷积层变为1×1、3×3和1×1卷积层得到的网络模型A-ResNet34与ResNet34模型在本文相同的实验环境中进行训练后对比，实验结果如表3所示。由表3可知，虽然残差结构优化导致了A-ResNet34的识别准确率比ResNet34下降了0.2%，但是模型参数量却减少了7 410 944，降低了大约34.8%，实验结果表明，本研究的残差结构优化虽然小幅降低了网络模型的识别准确率，但是大大减少了模型参数量，降低了计算损耗。

表3 残差结构优化结果对比

(2)shortcut结构优化的消融实验。为验证ResNet34模型在shortcut结构优化后的实际效果，故进行shortcut结构优化的消融实验。将shortcut连接中的1×1卷积层的前面加上一个平均池化层，并取消1×1卷积层的下采样功能，由平均池化层执行下采样操作，得到网络模型B-ResNet34,与ResNet34模型在本研究相同的实验环境中进行训练后对比，实验结果如表4所示。从表4可知，B-ResNet34的识别准确率比ResNet34上升了0.3%，平均召回率和平均F1分数增加了0.1%，平均精确率相同，B-ResNet34模型与ResNet34模型相比，对苹果叶病害的识别能力具有一定的提升。

表4 shortcut结构优化结果对比

(3)残差网络block数改变的消融实验。为验证ResNet34模型在残差网络block数改变后的实际效果，故进行残差网络block数改变的消融实验。将之前ResNet34模型中残差网络的block数由[3,4,6,3]变为[1,2,12,1]，得到网络模型C-ResNet34,与ResNet34模型在本研究相同的实验环境下进行训练后对比，实验结果如表5所示。从表5可知，随着残差网络block数的改变，C-ResNet34模型识别准确率比ResNet34下降了0.6%，但模型参数却减少了14.5%，在牺牲小幅度的识别准确率的前提下，减少了模型参数量，提高了计算速度。

表5 残差网络block数改变结果对比

(4)改进的ResNet34模型实验结果。本研究对ResNet34进行改进，将大卷积核改为小卷积核、残差结构优化、shortcut结构优化、残差网络block数改变，得到了改进模型，训练后在训练集和验证集的识别准确率和损失函数值如图6、7所示。

从图6、7可知，改进模型识别准确率不断提高，损失函数值不断减少，并最终在25个epoch趋于收敛。保留模型损失函数值最低时对应的权重参数，将测试集输入到训练好的改进模型中，得到混淆矩阵[23]如图8所示。

由图8可知，X轴对应的为真实标签，Y轴对应的为预测标签，标签分别对应Alternaria_Boltch(斑点落叶病)、Brown_Spot(褐斑病)、Grey_Spot(灰斑病)、Mosaic(花叶病)和Rust(锈病)。在混淆矩阵中，主对角线对应的数字为改进模型预测正确的部分，而其他位置为预测错误的部分，数字总和为测试集图片数量。改进模型和ResNet34实验结果如表6所示。由表6可知，改进的ResNet34模型相较于ResNet34基础模型，识别准确率、平均精确率、平均召回率和平均F1分数分别增加了0.5%、0.5%、0.6%和0.6%，模型参数量降低了大约43.3%。识别能力得到了小幅度提升，同时减少了模型参数量，降低了计算损耗，更加容易应用到移动端和嵌入式设备中。

图6 训练集和验证集识别准确率迭代过程 图7 训练集和验证集损失函数迭代过程

本文针对苹果叶病害识别的研究，基于ResNet34模型提出了一种改进的ResNet34模型。模型的特点主要包括:①将原始模型ResNet34中的第一层卷积层中的7×7卷积核替换为3个3×3的小卷积核，初步减少模型参数量;②将残差结构中的两个大小为3×3卷积层替换成大小为1×1、3×3和1×1串联的卷积层，使模型参数量减少了34.8%;③在虚线残差结构处，取消1×1卷积层的下采样功能，添加了一个平均池化层来进行下采样操作，使模型的识别能力得到了小幅的提升;④将ResNet34模型残差网络的block数由[3,4,6,3]改为[1,2,12,1],使模型参数量减少了14.5%。改进的ResNet34模型在实现识别能力小幅度提升的同时，减少了43.3%的模型参数量，较为显著地降低了模型的计算开销，为其应用到移动端和嵌入式设备提供了一定的思路。