基于多尺度特征拼接的小样本茶叶病害分类

张 艳，王林茂，程志友，章杨凡，储著增

(安徽大学 电子信息工程学院，安徽 合肥 230601)

中国为世界上最大的茶叶生产国和消费国，茶叶产业为国民经济中的重要组成部分.茶树会受到不同种类的病虫害影响，茶叶病害不仅影响茶叶品质也给茶农造成经济损失.茶学专家对茶叶病害分类，去现场勘察，根据经验进行判断.专家对茶叶病害分类不可避免存在主观因素，人工费用也非常高，于是提出了茶叶病害自动分类方法[1-3].随着计算机科学的快速发展，研究人员提出了基于机器学习和深度学习的植物病害分类方法.文献[4]结合改进的随机森林机器学习算法、属性评估和实例过滤，对多类花生病害进行了分类.文献[5]用支持向量机对两种最普遍的茶叶病害进行了分类.文献[6]提出了一种基于病害纹理、颜色特征的马铃薯晚疫病分类方法.文献[7]提出了一种基于支持向量机的青稞病害分类方法.

机器学习模型的性能主要取决于人工提取特征的优劣，对一些病害特征不太明显的病害其分类效果并不理想.深度学习不需人工提取目标特征，在训练样本量充足的情况下，有较高的识别精度.文献[8]提出了基于AlexNet的深度卷积神经网络模型，以13 689张苹果病害图像为对象，对4种苹果病害进行分类，分类精度较高.文献[9]将GoogleNet，AlexNet作为预训练模型，以54 306张植物病害图像为研究对象，成功分类了36类植物病害图像.文献[10]使用GoogleNet CNN架构成功分类了14种植物叶子病害.文献[11]提出了一种对马铃薯叶片病害进行分类的基于注意力和残差思想的深度卷积网络，该深度卷积网络的分类精度较高.文献[12]提出了一种改进的对常见果实叶片病害进行分类的残差网络，该残差网络的分类效率较高.文献[13] 在VGG16网络模型的基础上，提出了一个改进的对苹果病害叶片进行分类的网络模型，该模型提升了分类精度.虽然深度学习对植物叶片病害分类有较好的效果，但是上述网络模型存在如下问题：①常规的深度学习在模型训练过程中，需要大量的标注样本，否则会出现过拟合，然而在许多病害分类中无法满足大量样本的要求.②没有将病斑区域与整体区域很好地关联，使得到的特征图没有完全包含病害叶片的特征信息，从而影响分类效果.③在卷积过程中只用相同大小的卷积核进行卷积，导致提取特征时感受野受限，进而不能得到包含更多信息的特征图.④网络参数多，占用大量计算资源.

针对上述问题，该文拟提出一种用于小样本茶叶病害分类的多尺度特征拼接的网络模型.以关系网络作为基础，通过多尺度注意力模块提取茶叶叶片的显著性特征，进而得到显著性图像.对显著性图像与原始图像进行通道特征拼接，使拼接后的图像既包含全局特征又包含局部特征.用可分离卷积代替常规卷积以减少参量数，进而提升分类效率.

1.1 网络模型结构

该文以关系网络为基础，针对其不足进行改进，提出一种多尺度特征拼接的网络模型.多尺度特征拼接的网络模型结构如图1所示.多尺度特征拼接的网络模型包含两个模块：多特征嵌入模块及多通道关系模块.多特征嵌入模块能提取输入图像的特征.将输入图像输入多尺度注意力模块(multi-scale attention module, 简称MSAM)，得到茶叶叶片的显著性特征，依据此特征生成叶片的显著性图像.对显著性图像与原始图像进行通道特征拼接，将拼接后的图像输入卷积特征提取模块，提取该图像特征.多尺度关系模块对从多特征嵌入模块输出的卷积特征图进行操作，测量查询样本与支持样本间的关系得分，进而根据关系得分对图像进行分类.

图1 多尺度特征拼接的网络模型结构

1.2 多特征嵌入模块

1.2.1 MSAM的流程

MSAM是该文提出的一种获取图像显著性区域的注意力模块.图2为MSAM的流程图.在卷积块注意力模块(convolutional block attention module, 简称CBAM)[14]的通道注意力中引入多尺度特征，能够提取不同感受野下的通道注意力特征.将图像输入可分离卷积模块，生成输入图像所对应的特征图.特征图送入多尺度通道注意力模块Mc.在Mc中，利用不同尺度大小的卷积核将输入特征图转换为2个不同感受野下的特征图，对这2个特征图进行平均池化和最大池化，聚合特征映射的空间信息，得到2个不相同的空间信息Fcavg和Fcmax.使用多层感知机组成的共享网络，对Fcavg和Fcmax进行计算，将2个计算结果进行逐元素相加.通过激活函数sigmoid得到1个参数，将该参数与平均池化和最大池化后的特征图相乘，对与参数相乘后的2个特征图进行融合，得到多尺度通道注意力的特征图.

图2 MSAM的流程图

将多尺度通道注意力的特征图输入空间注意力模块Ms.Ms对该特征图进行平均池化和最大池化，聚合功能映射的通道信息, 生成2个2维映射:Fsavg和Fsmax.利用卷积对特征进行串联, 得到2D 空间注意力特征图.通过激活函数sigmoid得到1个参数，将该参数与多尺度通道注意力得到的特征图相乘，相乘后的特征图就是MSAM的特征图.将可分离卷积输出的特征图像素与MSAM的特征图像素逐项相加，得到显著性特征.

1.2.2 通道特征拼接

对显著性图像与原始图像进行通道特征拼接，使拼接后的图像既包含全局特征又包含局部特征.如果两路输入的通道数相同且后面带卷积，拼接可看成特征图在通道维度上的相加，且整体共用同一个卷积核.假设两路输入通道分别为X1，X2，…，Xc与Y1，Y2，…，Yc，那么拼接后的输出为

(1)

其中:c表示通道数；
Xi，Yi分别表示特征图X，Y在第i个子通道上的特征图；
Ki表示第i个子通道上的卷积核；
*表示卷积操作.

1.2.3 卷积特征提取模块

对多个不同卷积层输出的特征进行融合，使特征图能够包含空间和语义信息.为了减少整个流程的计算时间，用可分离卷积来代替常规卷积.图3为卷积特征提取模块的流程图.

图3 卷积特征提取模块的流程图

在常规卷积下，卷积层参量数的计算公式为

Nstd=m×n×cincout,

(2)

其中：m×n为卷积层卷积核大小、cin为输入通道数、cout为输出通道数.

可分离卷积分两步进行，先进行逐通道卷积，后进行逐点卷积.可分离卷积参量数的计算公式为

Nsep=m×n×cin+1×1×cincout,

(3)

其中：1×1×cincout为可分离卷积的卷积核大小.因此，在相同输入和输出的情况下，利用可分离卷积能够大幅减少参数量.

1.3 多通道关系模块

通常的网络模型，用一个固定大小的卷积核进行多次卷积操作，用一个固定大小的感受野对图像进行特征提取，而大多数图像的特征区域大小是不固定的，因此该文在多通道关系模块中，用不同大小的卷积核进行多通道卷积，用不同大小的感受野对嵌入模块得到的特征图进行特征提取.

该文在两个病害数据集(crop disease data(CDD) set in AI Challenger 2018和Anhui green tea disease(Ahu-GTD) set)上进行实验，以验证所提模型的性能.将Adam作为优化器，初始学习率设置为5×10-4，总的迭代次数设置为105.

2.1 病害数据集

CDD数据集共有61个类别，10个物种，27种病害(其中24种病害有一般和严重两种程度)，47 393张图片.数据集被随机分为如下4个子数据集：训练(70%)、验证(10%)、测试 A(10%)及测试 B(10%).

Ahu-GTD数据集是在中国安徽巢湖的金刚山国家森林公园中拍摄的.图像采集设备包括手持数码相机(佳能EOS 80D SLR相机)和无人驾驶飞机(DJI phantom 4pro).该文选择的茶叶病为如下4种：茶饼病、茶黑煤病、茶炭疽病和茶白星病.图4为Ahu-GTD数据集中的健康及4种病害的茶叶图像.

图4 Ahu-GTD数据集中的健康及4种病害的茶叶图像

2.2 结果分析

对CDD和Ahu-GTD数据集中的小样本茶叶病害图像均进行5-way 1-shot和5-way 5-shot实验，对该文模型与其他5种模型的分类准确率进行比较.表1为不同模型的分类准确率.

表1 不同模型的分类准确率 %

由表1可知：相对于其他5种模型，该文模型CDD数据集5-way 1-shot和5-way 5-shot实验的分类准确率均最高；
相对于其他5种模型，该文模型Ahu-GTD数据集5-way 1-shot和5-way 5-shot实验的分类准确率均最高.因此，该文模型具有较强的泛化性和鲁棒性.

图5为茶叶病害的原图像及两种模型茶叶病害特征的可视化图像.从图5可看出，相对于关系网络模型，该文模型的茶叶病害特征的可视化图像能更清晰地显示原图像的病害区域，包含了更多局部信息.

图5 茶叶病害的原图像及两种模型茶叶病害特征的可视化图像

对CDD数据集中的小样本茶叶病害图像，使用该文模型在不同图像裁剪大小下进行5-way 1-shot和5-way 5-shot实验，分析裁剪大小对分类准确率的影响.表2为该文模型图像不同裁剪大小下的分类准确率.由表2可知，不论是5-way 1-shot还是5-way 5-shot实验，相对于12×12和42×42裁剪大小的图像，裁剪大小为18×18的图像分类准确率最高，说明裁剪大小适中时分类效果最佳.

表2 该文模型不同图像裁剪大小下的分类准确率 %

茶叶病害分类的时间与模型中的参量总数有关，下面分析该文模型用可分离卷积代替常规卷积后，参量总数的变化情况.表3为两种模型的参量总数.由表3可知，该文模型用可分离卷积代替常规卷积后，参量总数由728 348降为110 259，小于关系网络模型参量总数的1/2，表明该文模型有较高的分类效率.

表3 两种模型的参量总数

该文提出了一种基于多尺度特征拼接的网络模型，用该模型对小样本茶叶病害进行分类实验.分类实验结果表明：用可分离卷积代替常规卷积后，该文模型参量总数小于关系网络模型的参量总数的1/2，提高了分类效率；
图像裁剪大小适中时分类效果最佳；
相对于其他5种模型，该文模型分类准确率最高.因此，该文模型具有较强的泛化性和鲁棒性.