计算机视觉技术在植物病害识别上的研究进展

孙 亮，柯宇航，刘 辉，胡义钰，冯成天，刘文波，王真辉，张 宇，郑服从,

（1. 中国热带农业科学院 橡胶研究所/农业农村部 橡胶树生物学与遗传资源利用重点实验室/省部共建国家重点实验室培育基地—海南省热带作物栽培生理学重点实验室/农业农村部 儋州热带作物科学观测实验站，海口 571101; 2. 海南大学 植物保护学院，海口 570228）

农作物病害影响作物产量、粮食安全和国民经济[1]。病害预防是在病害发生早期快速、准确地发现和识别病害[2]，因此，病害预防在农业生产中极为重要。然而，在大田作物中监测和鉴定植物病害是一项非常复杂的任务，通常通过人工目视诊断来实现。人工目视诊断是借助于专业知识、书籍或者互联网中关于植物病害的文字和图片描述来判断病害，但在实际生产过程中，人们判别植物病害时容易产生偏见、视错觉，导致偏差[3]，并最终导致农药和杀菌剂使用不当[4]。同时，人工目视诊断也存在效率低、成本高等一系列问题。随着科学进步和新技术的引进，目前植物病害检测方法有基于脱氧核糖核酸的聚合酶链反应(Polymerase chain reaction, PCR)，基于血清学方法的酶联免疫吸附试验(Enzyme linked immunosorbent assay,ELISA)，基于分子生物学方法的荧光原位杂交(Fluorescence in situ hybridization, FISH)和免疫荧光(Immunofluorescence, IF)，还有基于荧光显微镜(Fluorescence microscope)、流式细胞术(Flow cytometry, FC)和激光技术等方法[5]，这些生物检测方法通常非常耗时，不能及时提供有效信息[6]。随着农业和现代化信息技术交互碰撞，相互联结，智能化农业快速发展，在许多国家使用计算机视觉技术对农业生产进行智能化管理已成为农业发展的主要趋势[7]。与传统方法相比，基于遥感的传感器以及成像技术应用于自动化病害识别过程更加迅捷、精确和实时，已成为农业现代化发展的研究热点[8]。笔者综述了包括图像处理、机器视觉和机器学习技术在内的计算机视觉识别植物病害技术的基本概念、研究现状和方法，并提出存在的问题和展望，为计算机视觉技术在植物病害识别上的应用和研究提供依据。

植物病害是指在生物或非生物因素影响下植物在形态、生理或行为上出现异常的现象。生物因素引起侵染性病害，如真菌性、细菌性、病毒性和线虫性病害等；
非生物因素引起非侵染性病害，如冻害、缺素症、涝害等。非侵染性病害由于其非传染性性质，危险性较低，大多可以避免。侵染性病害具有传染性，开始在少数植株上发生，之后向四周迅速蔓延，造成大范围植株叶片脱落和生理紊乱，从而导致光合作用下降，进而降低植株产量和经济价值，危害极大。因此，必须建立有效的防治机制来管理、预防和控制病害发生。计算机视觉概念是借助计算机系统或机器对实时信息进行可视化分析和理解的技术，已广泛应用于医疗、国防、交通、农业和商业分析等多个领域。摄像机作为系统的眼睛，以信号和图像的形式获取现实世界的信息，并在计算机的帮助下进行处理，从中获得一些有用信息来解决复杂问题。近十年来，计算机视觉和图像处理技术已广泛应用于植物病害检测和分类，该检测系统可分为以下几个模块：图像采集、图像预处理、图像分割、特征提取、识别和分类(图1)。首先采集植物的叶、根、茎、枝等图像，然后根据实际情况，使用缩放、旋转、平滑等各种预处理技术对图像进行处理，下一步通过分割算法从原始图像中获取所需病变区域。为了对植物病害进行准确分类，需要利用分类器对机器进行训练，训练特征集从图像中分割和提取。

图1 植物病害检测系统基本步骤

侵染性病害有3点特性与识别精确性直接相关：第一，不同病原物侵染后会出现不同症状，也会出现相似症状；
第二，随着病害周期延长，病害严重程度加深，感染部位初期和后期症状不一致；
第三，1株植物存在多种病害现象，导致感染后的叶片有多种症状，每个症状呈现相似或不相似特征。这些特性对该系统识别病害造成较大阻碍。笔者介绍了计算机识别系统基本步骤（图1），并对文献中提出的解决方案进行总结。精确度通常是评价该系统有效和适用的性能指标[9]。

2.1 图像采集图像采集是指从某些数据库中检索图像，或者是通过采集设备从田间或室内采集到图像，再转换为数字图像进行下一步处理的过程。病害检测系统准确性取决于用于训练的采集图像的质量，捕获图像的质量在很大程度上取决于所使用相机及其定位。因此，需要采用一些措施，以增加图像可用性。陈佳娟等[10]采用图像扫描仪采集图像，旨在提高图片质量。徐贵力等[11]设计了一种活体采光箱，使后期图像处理和识别过程能更顺利进行。近年来，在植物病害检测上很少有关于高光谱成像的研究[12]，大多都是利用电荷耦合器件彩色相机捕捉或者利用安卓手机以高光谱的方式捕捉叶片图像，研究人员利用这些设备在实时现场条件或受控实验室环境中收集自创建数据集。

PICON等[13]生成超过10万张由手机在真实野外条件下拍摄的图像数据集。这个数据集包含17种疾病和5种作物(小麦、大麦、玉米、水稻和油菜籽)的疾病阶段，并提出一种作物条件的卷积神经网络架构，它可以无缝整合由植物物种鉴定组成的上下文元数据。文献中常出现的Plant Village数据集里包含近9万张，共58类植物病虫害的图像，有助于了解田间所遇到的植物病虫害现象[14]。许良凤等[15]构建玉米叶部病害数据库，可帮助识别田间玉米病害。

2.2 图像预处理图像的质量会因为阴影、扭曲、噪声和复杂背景的存在等原因而下降；
在主要数据集中，图像是实时收集的，包含不适当信息。因此，在特征提取前，需对图像进行预处理，以提高疾病检测系统计算精度。目前主要使用背景消除、增强、色彩空间转换、裁剪和平滑化等预处理技术[16]。在色彩空间转换中，RGB、HSV、HSI、Lab、YIQ和灰度颜色空间被许多研究人员使用[17−20]。RGB颜色空间是通过红、绿、蓝3个颜色通道的变化及它们互相之间叠加得到的其他各种颜色。HSV是指根据颜色的色调、饱和度及明度3个直观特性创建的一种颜色空间，而HIS则是把HSV中的明度更换成了强度。Lab颜色空间则是由亮度、a颜色通道和b颜色通道组成。YIQ空间中，Y表示图像的亮度信息，I和Q分量表示携带的颜色信息。灰度是指用不同饱和度的黑色来表示图像。除了色彩空间转化，一些图像增强技术和过滤器的应用会使得病害识别正确率提高。研究人员经常采用均值滤波和中值滤波去除图像噪声，王双喜等[21]把黄瓜炭疽病和霜霉病图像经由频域滤波增强、空域滤波增强和灰度变换增强3种图像增强技术进行处理，发现快速中值滤波是效率最高、效能最显著的一种增强方法。

图像分割是几乎所有图像处理或计算机视觉应用中的重要组成部分[22]，主要作用是为了区分植物组织感病区域和非感病区域，再将感病区域的颜色、纹理、形状结构和灰度特征划分成一个个不重叠的小区域[23]，计算机才能基于这些特征准确判断病害类别。然而，在图像分割过程中，主要存在以下问题：第一，着绿色像素背景包含许多元素，这些元素很难正确分割，特别是在感病区域；
第二，很难区分健康区域和患病区域的界线；
第三，光照变化和阴影的存在；
第四，感病区域特征分布不均，排列无序。针对上述情况，许多研究人员都在寻找一种能在任何情景下都适用的分割算法，但是由于植物种类不同、发生病害不同、发病时期不同，所表现出来的各方面特征都不一样。所以图像分割算法有多种类型，主要分为两大类，一类是基于边缘检测、区域增长，基于阈值和基于特定理论的传统方法；
另一类是基于计算机智能技术，包括利用软计算方法如遗传算法、模糊逻辑、神经网络等进行分割[2]。

基于边缘检测的分割技术已经在各种研究中得到实现，SHINDE等[24]采用sobel算子、canny边缘检测、prewitt算子、k-means聚类算法等技术对大豆图像进行分割，同时采用区域生长与局部阈值相结合实现对病斑的有效分割。在一项针对杨树叶部病害的研究中，明浩等[25]将改进的canny边缘检测法和霍斯变化相结合提取叶片轮廓，效果良好。在阈值分割算法中，阈值设定技术如Otsu阈值设定、以自适应强度为基础的阈值设定和基于熵的阈值设定都是常用方法。其中Otsu算法比较具有代表性，PHADIKAR等[9]基于Otsu阈值分割算法，将图像分割为两部分，最大限度地利用类间方差参数来检测阈值。张会敏等[26]基于小波变换和Otsu法，提出一种基于小波变换和Otsu法的图像分割算法，在辣椒病害叶片图像上采用该方法进行分割实验, 结果表明该方法切实有效。阈值确定是基于阈值分割法中非常关键的一步，如果阈值选择不正确则会直接导致分割不正确。赵辉等[27]基于AD-GAC模型和最大熵阈值法对复杂背景下叶片病斑进行分割，效果较好。基于特定理论的分割算法中，张芳等[28]利用k-means聚类算法、基于拉普拉斯高斯算子和基于超像素的最优匹配搜索方法，分割在复杂背景下黄瓜叶片病斑，其准确率达94.7%。k-means聚类进行疾病区域分割，比基于边缘的分割方法更有效、更适合[29]。也有一些研究人员选择模糊c均值聚类对感染区域进行分割[30－31]。近年来，深度学习技术快速发展，许多研究人员基于卷积神经网络对图像进行分割，如温长吉等[32]分割玉米病害图像就是通过改进蜂群算法优化了的神经网络实现的。王振等[33]针对玉米叶病提出基于改进全卷积神经网络的叶片病斑分割方法，可以准确分割出理想病斑区域。目前，利用遗传算法对植物叶片病害进行图像分割只有少数报道[34]。

病害症状的相似性极大地影响病害分类的正确性。特征提取是构建分类或识别模型的重要步骤，其目的是提取图像每一类相关属性，如形状、颜色、大小、纹理等，再根据这些特征将一个对象与其他对象区别开来。在研究中，灰度共生矩阵(Gray-level co-occurrence matrices, GLCM)与Haralick特征、Gabor滤波器、平移不变特征变换(Shift-invariant feature transform, SIFT)、离散小波变换(Discrete wavelet trans-Form, DWT)和局部二值模式(Local binary patterns, LBPs)等方法被广泛应用于特征提取。

在对柑橘炭疽病、黑斑病、溃疡病、痂病、青色病和黑素病进行分类时，提取了18个GLCM特征，除了有14个Haralick特征外还新增簇突出、簇荫、同质性和能量特征[35]，旨在寻找精度较好的柑橘病害检测系统。在针对苹果表面病害识别研究中，为了建立特征向量，研究了不同特征描述子的Gabor小波组合来观察它们的性能，其中Gabor和LBP组合形成强大的特征提取算法，识别精确度最高[2]。SIFT是用特征向量表示图像局部特征的特征描述子，用SIFT提取水稻褐斑病、黑穗病和白叶枯病的叶片特征再进行分类检测，效果良好[29]。LBPs是一种简单但非常有效的纹理算子，它通过通过阈值来标记中心点像素与其邻域像素之间的差别，并将结果视为一个二进制数，对葡萄叶部病害识别中应用LBPs与直方图结合方法提取复杂背景下彩色数字图片特征。颜色特征是一种基于图片像素点的全局特征[36]，图像灰度或颜色分布的某种规律性称为形状[37]。对这些特征进行提取，然后通过相似性度量或通过一些机器学习算法映射用于病害识别和分类。刘丽娟等[38]引入HIS模型进行颜色特征提取，引入病斑区域规律度、分形锥数值和熵等6个参数进行纹理特征提取，再采用改进的BP(Back propagation)神经网络，搭建识别玉米叶部病害系统。赵进辉等[39]利用颜色特征2G-R-B、2R-G-B和面积阈值分割法将图像中甘蔗病斑从土壤和其他绿色植物中提取出来，从而识别甘蔗病害。颜色是基于颜色直方图和颜色共生矩阵的，颜色直方图表示一幅图像中颜色分布，BARBEDO等[40]提出基于颜色变换、颜色直方图和两两分类系统的疾病识别方法，这种方法对图像捕获条件具有较强的鲁棒性。颜色共生矩阵(color co-occurrence matrix, CCM)以矩阵的形式表示每个颜色通道的颜色分布[41]。PYDIPATI等[42]利用CCM法获得患病柑桔叶片油脂斑、黑素、疮痂等纹理特征。形状特征基于一些参数定义任何图像或对象的形状属性，它是基于叶片面积、质心、偏心度、等效直径、范围、长轴长度、短轴长度、方向和周长提取的计算值。VIJAYALAKSHMI等[43]提出一种基于纹理、形状和颜色特性的叶片分类方法。

识别和分类步骤是利用计算机视觉和图像处理技术进行植物病害的检测和分类，它是植物病害识别最后阶段，也是最关键阶段。它的分类精确性取决于之前图像采集、预处理、感病区域的分割以及最终的特征提取和选择，将这些步骤的原始数据输入训练后的分类器中来判断叶片病害类别[3]。

5.1 机器学习的应用机器学习为系统提供自动学习能力，在没有明确编程的情况下，从经验中改进，并具有决策能力。目前报道的机器学习技术大多是基于人工神经网络、支持向量机和kmeans聚类来实现。使用感病植物和健康植物数据集训练分类器，对2个数据集进行测试，可以检查分类器性能及其准确性。人工神经网络是机器基于数学模型仿效生物神经网络构造和效能进行学习的一种方法[23]，已经在植物病害图像分类研究中得到普遍应用。其主要步骤是将提取的病害图像特征数据作为分类器输入量，对神经网络识别模型进行训练，经过训练得到线性决策函数。以此为依据，模型可以对已训练过的植物病害进行分类识别。HUANG[44]利用可调参数指数变换和图像处理技术对蝴蝶兰幼苗3种病害的病斑分布区域进行分割，提取到颜色和纹理特征，进一步用GLCM描述病变区域纹理特征，再将纹理特征和R、G、B的平均灰度作为参数，采用神经网络技术对病害进行分类，准确率达89.6%。谭克竹等[45]对大豆灰斑病、霜霉病和细菌性病害的病斑特征展开分析，搭建大豆叶片病害的BP神经网络诊断模型。李颀等[46]利用基于遗传算法的BP神经网络定义原始特征参数对分类结果灵敏度进行优化，剔除灵敏度较低的若干特征, 减低特征参数维数，实验结果标明, 该方法对黄瓜炭疽病和白粉病的分类准确率在96%以上。1964年，VAPNIK等[47−48]提出支持向量机(Support vector machine,SVM)，它使用结构风险最小化原理，兼顾训练误差和泛化能力，在解决小样本、非线性、高维数、局部极小值等模式识别问题中显现出很多独特的优势。在一些研究中，支持向量机、上下文感知支持向量机(Context-aware support vector machine, CSVM)和单类支持向量机(One-class support vector machine, OCSVM)在基于病斑区域的各种特征对植物病害进行的分类中，其分类精度明显优于人工神经网络[16,20,35]。除了神经网络和支持向量机，在一些研究中基于模糊逻辑的推理系统和基于模糊规则的系统也被用于植物病害检测。

5.2 深度学习的应用目前，图像处理和计算机视觉领域的研究重点已经聚焦到深度学习上[49−51]，深度学习是机器学习的分支，DL方法是一种具有多级表征的表示学习方法，通过组合简单但非线性的模块获得，每个模块都将一个级别的表示转换为更高、更抽象的级别表示。通过组合足够多这样的变换，可以学习非常复杂的函数。深度学习工具中应用最广泛的是卷积神经网络。SLADOJEVIC等[52]从收集用于训练和识别的图像到图像的预处理和增强，再到CNN训练和微调，提出一种利用深度学习对植物病害进行自动分类和检测的新方法，开发的模型能够从叶片中识别出13种不同类型的植物病害，并具有从周围环境中识别植物叶片的能力。模型试验结果表明，在单独的分类测试中准确率达到91%～98%。秦丰等[53]基于CNN提取苜蓿褐斑病、锈病、小光壳叶斑病和尾孢菌叶斑病的病斑图像特征, 建立病害识别支持向量机模型，其识别效果不错。刘阗宇等[54]提出一种基于卷积神经网络区域建议算法(Faster-region convolutional neural network, Faster-RCNN)的病害检测方法，该方法可去除背景因素扰乱，提高识别精确度。

自2015年起，深度学习在植物病害识别上的应用研究开始渐渐深入，Caffe是多位媒体科学家和实践者提供的一个简洁和可修改的框架，用于最先进的深度学习算法和一组参考模型。此外还有Alex Net、VGG-16、GoogLeNet和ResNet等多种网络架构被提出且在病害识别上得到应用[55−58]。评价深度学习的性能通常使用准确率、召回率、F1值和平均正确值等指标。DL技术在植物病害检测、识别和分类领域表现出识别速度快、鲁棒性强和泛化性能好等性能，其精确度能高达95%以上。

利用可视范围图像自动识别植物病害在过去20 a中受到广泛关注。本研究对计算机视觉技术在植物病害识别上的研究进行综述。目前该领域研究已经取得一定进展，研究者提供一些植物病害图像处理、分割、特征提取和病害分类的算法来解决在侵染性病害识别中常见的问题。然而当前提出的技术手段还局限于一定范围，有许多研究都是基于实验室条件下的计算机视觉诊断，或者是对单一作物的单一病害进行研究，如果应用到田间，难度会比较大。其次，如何实现复杂环境下作物图像的背景分割是公认的研究难点，若没有适合的图像分割技术，会对病害识别造成比较大的困扰。再次，许多植物病害的病斑其颜色、大小、形状等特征在不同时期会有不同变化，单一某个时期的病害识别系统对不同发病时期的病叶诊断会有所不同，不同的病害产生的症状可能非常相似，而且他们可能同时存在，在复杂背景下诊断多种病害的研究还比较少。今后研究重点是：第一，将病害诊断系统从实验室扩展到田间，使其保有更加稳定的识别精确度。第二，加快图像处理新算法的研究，使得系统能在复杂背景下分割和提取叶片病斑特征。第三，研发动态的植物病害诊断系统。如今，农业现代化、智能化、自动化的趋势越来越明朗，计算机视觉技术是当中不可缺少的一环，还需要投入更多的精力去研究解决相关技术问题。

在植物病害识别研究中，机器学习技术已有很好的效果，而深度学习其强大的学习能力可提高神经网络的性能和识别精度，把这项研究推进了一大步。深度学习的研究是近几年来在计算机科学和农业信息化领域的热门，其性能非常依赖于数据集，数据集越丰富则深度学习的性能越好。国内外的专家学者应该全面构建和扩充更多植物类型，更多病害类型的数据集。同时，由于目前大部分的研究内容还是基于经典的卷积神经网络架构，优化其架构和开发更加先进的架构等尚待加强。

我国研究人员根据人工神经网络、综合知识库和集成推理等技术开发了一批植物病虫害诊断专家系统，已应用于生产的如月季病虫害智能系统、面向山东的果树病虫害诊断专家系统、苹果病虫害诊断专家Android 系统[59−61]。虽然有很多病害系统已经开发，但是向大众推广应用程度并不高，一些技术比较成熟的系统没有被合理利用起来。未来计算机视觉在植物保护的应用上应该是紧跟国际上最新的研究动态，努力创造新的技术和方法，并且能够利用已成熟的科技成果，研制出适合我国实际情况的软件和硬件系统，并及时应用于生产。